基于大数据的网页浏览质差分析方法研究

doi:10.11959/j.issn.1000-0801.2020126

摘要/Abstract

摘要：

传统的网络运维往往聚焦网络和设备的运行状态，难以解决用户主观感知问题，迫切需要建立一套端到端互联网应用感知管理体系。围绕网页浏览的质量分析环节，基于大数据技术研究用户感知数据的质量分析框架和方法，设计提出了一套基于大数据技术的质量分析系统框架，用于实现互联网业务质量分析。以某国际网站为例，提出了“二望五切”诊断法用于定界溯因，提高人工分析效率，验证了所提方法的有效性。

关键词: 大数据, QoE, 质量分析, KQI, KPI

Abstract:

The traditional network operation and maintenance often focuses on the operation status of the network and equipment,which is difficult to solve the user's subjective perception.It is urgent to establish an end-to-end Internet application awareness management system.Focusing on the quality analysis of web browsing,the quality analysis framework and method of user perceived data based on big data technology was studied,a quality analysis system framework based on big data technology was designed and proposed,which was used to realize the quality analysis of Internet business.Taking an international website as an example,a diagnosis method of ＆quot;two looks and five cuts＆quot; was proposed to delimit and trace the cause,which improves the efficiency of manual analysis and verifies the effectiveness of the proposed method.

Key words: big data, QoE, quality analysis, KQI, KPI

中图分类号:

TN929.5

程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.

Weihua CHENG,Xiaorong HE. Quality analysis method of Web browsing based on big data[J]. Telecommunications Science, 2020, 36(11): 174-181.

图/表 9

图1

图2

图3

图4

表1

图5

表2

图6

图7

参考文献 7

[1]	GUITART J , TORRES J , AYGUADE E . A survey on performance management for internet applications.concurrency and computation[J]. Practice and Experience, 2010,22(1): 68-106.
[2]	王懿 . Web 页面加载性能监测平台的设计与实现[D]. 武汉:华中科技大学, 2015.
	WANG Y . Design and implementation of web page loading performance monitoring platform[D]. Wuhan:Huazhong University of Science and Technology, 2015.
[3]	孙雪松 . 基于大数据分析的电信网络质量评估系统的实现和应用[D]. 北京:北京邮电大学, 2017.
	SUN X S . Implementation and application of telecom network quality evaluation system based on big data analysis[D]. Beijing:Beijing University of Posts and Telecommunications, 2017.
[4]	蔡森, 沈俊良 . 面向 5G 的移动网络用户感知大数据分析体系研究[J]. 中国新通信, 2019(8):34.
	CAI S , SHEN J L . Research on big data analysis system of mobile network user perception for 5G[J]. China New Communications, 2019(8):34.
[5]	康波, 刘胜强 . 基于大数据分析的互联网业务用户体验管理[J]. 电信科学, 2013,29(3): 32-35.
	KANG B , LIU S Q . Management of the user experience based on the big data analysis[J]. Telecommunications Science, 2013,29(3): 32-35.
[6]	党永亮 . 大数据分析在移动通信网络优化中的应用研究[D]. 武汉:华中师范大学, 2015.
	DANG Y L . Application research of big data analysis in mobile communication network optimization[D]. Wuhan:Central China Normal University, 2015.
[7]	邹洁, 郑淑琴, 肖慧 . 基于 DPI 大数据分析的移动互联网端到端业务感知KQI质量定段预定位方法[J]. 广东通信技术, 2017(4): 2-6,23.
	ZOU J , ZHENG S Q , XIAO H . The KQI quality segment prepositioning method of the mobile internet end-to-end business perception based on DPI data analysis[J]. Guangdong Communication Technology, 2017(4): 2-6,23.

对比项	指标	指标含义
KQI	首屏显示时间	浏览器中1 024×768区域呈现网页内容的时间
	首页完全加载时间	浏览器中首页页面全部元素加载完成的时间
业务KPI	DNS解析时间	客户端发起访问请求，DNS解析完成的时间
	TCP连接时间	客户端发起访问请求，TCP3次握手建立连接的时间
	首分组时延	从客户端发起HTTP请求开始，到收到第一个HTTP响应报文的时间
	页面资源分布	页面元素的大小、类型、所在服务器IP地址等特征
网络KPI	时延	ping测试目标地址的双向时延
	分组丢失率	ping测试目标地址的分组丢失率
	路径	tracer测试路径
统计指标	首页访问成功率	访问某网页的成功率

体验等级	体验指标	用户感知
优，MOS值：[y₁,y₂)	首屏显示时间：[a₁,a₂)	网页浏览“零”等待，页面主体内容“秒”显
	首页完全加载时间：[b₁,b₂)
良，MOS值：[y₃,y₄)	首屏显示时间：[a₃,a₄)	网页浏览稍有等待感，页面主体内容显示快速
	首页完全加载时间：[b₃,b₄)
中，MOS值：[y₅,y₆)	首屏显示时间：[a₅,a₆)	网页浏览有明显等待感，可感觉到页面主体内容的逐级显示过程
	首页完全加载时间：[b₅,b₆)
次，MOS值：[y₇,y₈)	首屏显示时间：[a₇,a₈)	网页浏览等待时间较长，感觉到页面主体内容空白区域的时间较长
	首页完全加载时间：[b₇,b₈)
劣，MOS值：[y₉,y₁₀)	首屏显示时间：[a₉,a₁₀)	网页浏览白屏时间过长，加载超出用户忍耐程度，选择放弃浏览
	首页完全加载时间：[a₉,a₁₀)

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	王速, 卢华, 汪硕, 蔡磊, 黄韬. 智能运维中KPI异常检测的研究进展[J]. 电信科学, 2021, 37(5): 42-51.
[9]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[10]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.
[11]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[12]	罗志强,王伟,朱晓荣. 基于A3C的无线异构网络自适应视频流传输控制方法[J]. 电信科学, 2020, 36(12): 65-76.
[13]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[14]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.
[15]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.