面向用户体验的IT指标管理研究与应用

doi:10.3969/j.issn.1000-0801.2014.04.022

摘要/Abstract

摘要：

为了评估IT系统的应用效能，构建面向用户体验的IT指标管理体系，是实现IT监控管理从基础设施监控向业务监控的基础和关键。分析了IT业务监控的新需求，设计了面向用户体验的IT指标体系，提出并构建了应用效能监测平台，依靠此平台，能够自动监控和分析其IT系统问题。

关键词: 用户体验, IT指标, 监控, 指标模型

Abstract:

To evaluate the user experience of IT systems, building up a user experience oriented IT key performance indicator architecture, which is the foundation of transferring the IT management from the infrastructure monitoring and analysis to service monitoring and analysis. Based on the lot of real world's new requirements of the IT service management, the architecture of user experience oriented IT key performance indicator was analyzed and designed, and an application management effectiveness platform or system was implemented, via the platform, could automatically and effectively monitor and analyze the IT systems.

Key words: user experience, IT indicator, monitoring, indicator model

林文锋,黄国文. 面向用户体验的IT指标管理研究与应用[J]. 电信科学, 2014, 30(4): 150-156.

Wenfeng Lin,Guowen Huang. Research and Application of IT Indicator Management Oriented User Experience[J]. Telecommunications Science, 2014, 30(4): 150-156.

图/表 9

图1

图2

表1

表2

表3

按区域对象统计指标集"

KQI	指标描述	相关KPI	计算方式
区域访问分析	用户访问区域分布	当前会话连接数	根据每个会话的来访IP地址统计访问区域
浏览器	用户端浏览器分类及比例	当前会话连接数	根据每个会话的用户端浏览器类型进行统计
错误分类	发生错误的页面的错误分类及比例	页面HTTP错误汇总	根据页面出错信息汇总，按区域代码和统计出错类型进
			行分类
并发用户数和页面访问量	当前在线用户数及访问量信息	当前会话连接数	实时获取当前在线用户数和根据访问量排名的页面及URL信息
应用系统访问	系统当前会话连接数	当前会话连接数	根据会话计算出应用系统的当前用户会话连接数
问题页面/功能排名	按错误时间排名的问题清单，按区域分类	页面HTTP错误汇总	根据错误事务数量排名的错误页面（URL）
用户访问排名	按用户访问量排名	当前会话连接数	根据会话数计算访问量最高的用户
区域访问页面/功能排名	业务功能排名按区域分类排名	当前会话连接数	根据会话数统计被访问最多的页面
区域访问量分析	区域访问量分布	当前会话连接数	根据会话数计算访问量最高的区域比例，并列出相应访问量数值
区域访问速率统计	区域访问速率统计	网络传输速率	根据网络速率计算访区域访问速率
区域访问页面耗时分析	区域访问页面耗时从高到低排名（平均耗时/最大耗时）	页面耗时统计	页面耗时
区域满意度	按区域分类，综合计算包含页面响应、错误概率在内的综合占比	页面耗时统计、错误页面统计
区域业务可用性	不同区域的业务可用性	页面可用性/出错率	根据页面可用性统计区域的业务可用性
区域访问耗时统计	不同区域访问平均耗时统计	页面耗时统计	根据页面耗时统计出区域访问耗时的排名
系统资源度健康度	系统资源节点运行状态实时统计		分别统计CPU使用率、内存占用率、磁盘空间占用率在内的系统资源，以占用率最高值呈现，并分别列出3类指标排名前3的资源节点

表3

表4

表5

图3

图4

类型	子类型	指标	指标描述
网络	网络连通性	网络连接跳数指标	终端设备到核心服务器的网络连通性指标，单位为跳
		网络平均时延指标	终端设备到核心服务器的网络连接时延指标，单位为ms
		网络稳定性（分组丢失率）	网络传输分组丢失率指标
		网络可靠性	网络传输平均无故障时间，单位为h
	数据库端口连通性	连接异常次数指标	单位时间内连接数据库服务器异常超时的次数，单位为次/h
		平均时延指标	连接数据库服务器的平均时延，单位为ms
	网络传输速率	基于TCP的数据传输速率指标	基于Web Services协议的上传/下载数据传输速率指标，单位为kbit/s
服务器/终端	CPU	CPU总体使用率指标	CPU的总体使用率
		分CPU使用率指标	在多CPU情况下，每个CPU的使用率指标
	内存	内存使用率指标	内存当前的占用率指标
		内存页交换率指标	内存页交换率指标
	磁盘	磁盘可用容量指标	磁盘可用容量百分比指标
		磁盘I/O读写速率指标	磁盘I/O读写速率指标，单位为KB/s
		等待队列指标	等待队列指标，单位为个
系统工具	中间件	稳定性指标	单位时间内出错的次数，单位为次/月
		可靠性指标	无故障时间，单位为h/月
	数据库	稳定性指标	单位时间内出错的次数，单位为次/月
		可靠性指标	无故障时间，单位为h/月
	应用	稳定性指标	单位时间内出错的次数，单位为次/月
		可靠性指标	无故障时间，单位为h/月

类型	子类型	指标
网络吞吐量	上行速率	网络上行速率
	下行速率	网络下行速率
会话指标	会话连接数（s/min/h）	按s/min/h统计会话连
		接数
	当前会话连接数	当前会话连接数
	持续最长会话链接表	会话链接时长统计
页面指标	页面加载时间	页面加载时间统计
	页面可用性/出错率	页面可用性及出错统计
	页面错误汇总	页面错误类型汇总及占比
	页面耗时统计	页面耗时统计
	页面流量统计	页面流量统计
	错误页面统计	错误页面按事务量统计

KQI	指标描述	相关KPI	计算方式
用户满意度	综合计算包含页面响应、错误概率在内的综合占比		根据区域响应时间和区域错误率统一计算
错误分类	发生错误的页面的错误类型及比例	页面错误汇总	根据页面出错信息汇总，统计错误类型百分比
并发用户数和页面访问量	在线用户数及访问量信息	当前会话连接数	根据会话统计用户量和相关页面的访问量
浏览器	用户端浏览器分类及比例	当前会话连接数	根据会话计算用户端浏览器类型
应用系统访问	系统当前会话连接数	当前会话连接数
用户访问排名	系统用户按访问量排名	当前会话连接数	统计排名前20的访问用户
错误功能汇总及排名	系统一定时间内的错误信息并按照降序排列呈现	错误页面统计	分类统计错误页面的URL和原因
关键运维指标监控	主要业务场景＆主要接口的响应和错误监控		厂商提供
整体业务排名	系统整体业务使用统计	当前会话连接数	根据会话数统计用户使用最多的前20个业务
业务耗时排名	系统业务按耗时（平均值）统计	页面耗时统计	根据会话数统计耗时最多的前20个业务
流量最大业务排名	系统业务按流量（平均值）统计	页面流量统计	根据会话数统计流量最大的前20个业务
接口耗时排名	耗时最长的接口
端到端业务耗时按区域统计	端到端业务区域综合耗时排名

KQI	指标描述	相关KPI	计算方式
服务可用性	业务系统是否能够提供正常业务服务的统计	页面可用性/出错率	通过页面可用性统计服务可用性排名
业务处理时长	业务系统处理一次业务交易的整体时间	页面耗时统计	通过页面耗时统计出业务处理平均时长
业务处理量	业务交易完成次数统计	当前会话连接数	通过当前会话连接统计业务交易量
业务服务故障统计	业务系统出现故障的次数	业务故障工单的次数	业务系统故障单次数
平均故障恢复时间	业务系统从故障到恢复正常使用的时间（平均值）	业务故障工单的处理时长	业务故障单开始时间和关闭时间的时长（平均）

[1]	房新彦, 张艳霞, 崔瑞琳, 罗思维. P2P网络视频监控技术机制解析[J]. 电信科学, 2022, 38(12): 152-162.
[2]	王敬宇, 周铖, 张蕾, 刘聪, 庄子睿, 杨红伟, 陈丹阳, 朱艳宏, 陆璐, 廖建新. 知识定义的意图网络自治[J]. 电信科学, 2021, 37(9): 1-13.
[3]	徐国斌, 符哲蔚, 刘明, 邓志吉, 王存刚, 钟广海, 李辉, 孟伟, 吴云杰. 5G上行带宽探测与应用研究[J]. 电信科学, 2021, 37(12): 51-59.
[4]	潘三明,袁明强. 基于边缘计算的视频监控系统及应用[J]. 电信科学, 2020, 36(6): 64-69.
[5]	丁伟. 风电场电力监控系统网络安全威胁防控体系[J]. 电信科学, 2020, 36(5): 138-144.
[6]	李玉宏,张朋,金帝,周颖超. 应用对未来网络的需求与挑战[J]. 电信科学, 2019, 35(8): 49-64.
[7]	杨志敏,洪丹轲,黄昱. 电力通信网省地集约化监控运行支撑系统架构及关键技术[J]. 电信科学, 2019, 35(11): 146-156.
[8]	杨迪. 基于容器云的微服务系统[J]. 电信科学, 2018, 34(9): 169-178.
[9]	何业慎,梁琨,谭威,胡鑫. 基于物联网技术的智能变电站安防监控系统[J]. 电信科学, 2018, 34(9): 179-185.
[10]	董铮,朱颖,杨春泽. 基于物联网和4G无线VPDN技术的实时视频监控系统的研究和应用[J]. 电信科学, 2018, 34(7): 195-200.
[11]	刘舒,白纪军,万莎,王皓靖. 靠港船舶岸电信息管理与监控系统设计[J]. 电信科学, 2018, 34(5): 176-182.
[12]	汪保友,姚健,张正卿. 基于FKS的信令采集与监控技术[J]. 电信科学, 2018, 34(3): 145-155.
[13]	杨晓朋,陈海涛,梅力宸,王鹏展. 量子密钥分发技术在智能变电站中的研究[J]. 电信科学, 2018, 34(10): 163-169.
[14]	张园,曹宁,胡豆豆. 视频监控标准化最新进展[J]. 电信科学, 2018, 34(10): 130-136.
[15]	贺甜甜,刘彦凯,宋利. 视频用户体验理论与实践[J]. 电信科学, 2017, 33(8): 67-76.