采用大数据技术的移动DPI关联算法探索及实现

doi:10.11959/j.issn.1000-0801.2017343

电信科学 ›› 2017, Vol. 33 ›› Issue (12): 121-126.doi: 10.11959/j.issn.1000-0801.2017343

• 专栏：大数据技术与应用 • 上一篇下一篇

采用大数据技术的移动DPI关联算法探索及实现

刘孝颂,马怡安

中国电信股份有限公司上海研究院，上海200122

修回日期:2017-11-28 出版日期:2017-12-01 发布日期:2018-01-12
作者简介:刘孝颂（1977-），男，中国电信股份有限公司上海研究院网络数据系统架构师、中级工程师，主要从事网络数据分析/挖掘工作以及基于网络数据的应用方面的工作，主要研究方向为 LTE 网络数据采集方法以及各接口之间的信令消息关联方法、LTE网络控制面信令消息解读分析等。|马怡安（1987-），男，中国电信股份有限公司上海研究院中级工程师、大数据智慧运营研发，主要从事大数据架构下数据分析及挖掘以及基于网络数据自主开发各类应用和质量检测工具等方面的工作。

Research and implementation of mobile DPI association algorithm with big data technology

Xiaosong LIU,Yi’an MA

Shanghai Research Institute of China Telecom Co.,Ltd.,Shanghai 200122,China

Revised:2017-11-28 Online:2017-12-01 Published:2018-01-12

摘要/Abstract

摘要：

针对近年来4G渗透率不断提高所带来的用户质疑流量使用情况的问题，通过深入的研究提出了一种利用移动DPI 的详细话单与计费话单关联的算法，采用大数据平台以及相关处理技术对算法进行了实现，并展示了现网运行评估的效果。

关键词: 大数据, 计费话单, 深度分组检测, 数据流, LTE, eHRPD

Abstract:

In order to solve the problem of traffic usage caused by the increasing penetration rate of 4G in recent years,an algorithm that uses mobile DPI detailed bill and billing bill was proposed,and big data platform was adopted.The related processing technology implements the algorithm and shows the effect of the current network operation evaluation.

Key words: big data, data detail report, deep packet inspection, data flow, LTE, eHRPD

中图分类号:

TN915

刘孝颂,马怡安. 采用大数据技术的移动DPI关联算法探索及实现[J]. 电信科学, 2017, 33(12): 121-126.

Xiaosong LIU,Yi’an MA. Research and implementation of mobile DPI association algorithm with big data technology[J]. Telecommunications Science, 2017, 33(12): 121-126.

图/表 7

图1

图2

图3

表1

表2

图4

图5

参考文献 9

[1]	POIKSELKA M , MAYER G , KHARTABIL H ,等. IMS：移动领域的 IP 多媒体概念和服务[M].赵鹏,周胜,望玉梅,译. 北京: 机械工业出版社, 2005.
	POIKSELKA M , MAYER G , KHARTABIL H ,et al. IMS:IP Multimedia Concepts and services in the mobile field[M]. Translated by ZHAO P,ZHOU S,WANG Y M. Beijing: China Machine Press, 2005.
[2]	胡乐明, 曹磊, 陈洁 . IMS 技术原理及应用[M]. 北京: 电子工业出版社, 2006.
	HU L M , CAO L , CHEN J . The principle and application of IMS technology[M]. Beijing: Publishing House of Electronics Industry, 2006.
[3]	3GPP.Telecommunication management; charging management;charging data records (CDR) file format and transfer:TS32.297[S]. 2012.
[4]	3GPP.Telecommunication management; Charging management; charging data record (CDR) parameter description:TS32.298[S]. 2012.
[5]	3GPP.Telecommunication management; charging management;charging architecture and principles:TS32.240[S]. 2012.
[6]	魏永, 周云峰, 郭利超 . OpenDPI报文识别分析[J]. 计算机工程, 2011(S1): 98-100.
	WEI Y , ZHOU Y F , GUO L C . Analysis of OpenDPI message recognition[J]. Computer Engineering, 2011(S1): 98-100.
[7]	黄晓武 . 基于 DPI 技术的网络流控策略[J]. 电脑知识与技术, 2011,07(2X): 1260-1261.
	HUANG X W . Network flow control strategy based on DPI technology[J]. Computer Knowledge and Technology, 2011,07(2X): 1260-1261.
[8]	于娟, 袁春蕾 . 网络流量实时监控分析系统的设计与实现[J]. 物联网技术, 2013(2): 71-73.
	YU J , YUAN C L . Design and implementation of real-time network traffic monitoring and analysis system[J]. Internet of Things Technologies, 2013(2): 71-73.
[9]	邓博 . 基于数据挖掘技术构建电信4G客户预测模型的研究[D]. 兰州:兰州大学, 2015.
	DENG B . Research on the construction of telecom 4G customer prediction model based on data mining technology[D]. Lanzhou:Lanzhou University, 2015.

序号	DDR流量分类条件	匹配标准
1	小于100 KB	存在DPI即匹配，≠100%
2	100~200 KB	流量误差100%之内,即[-100%,100%）
3	200~500 KB	流量误差50%之内,即[-50%,50%]
4	大于500 KB	流量误差20%之内,即[-20%,20%]

话单	总条数/条	总流量/byte
A类型话单	649 698	22 047 540 059 021
B类型话单	1 984	1 243 607 026 411
C类型话单	60 747 368	133 582 486 154 002
D类型话单	368 670	5 988 048 615 736
总计	61 767 720	162 861 681 855 170

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	许浩, 吴琳. 基于5G网络的VoWi-Fi互操作研究[J]. 电信科学, 2023, 39(5): 144-154.
[4]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[5]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[6]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[7]	宫峰勋, 李建坤. 简化频域Volterra级数的S模式信号接收系统特性[J]. 电信科学, 2022, 38(6): 100-110.
[8]	李晗阳, 翁玮文, 李男, 张龙, 程锦霞. 5G NR RedCap关键技术研究[J]. 电信科学, 2022, 38(3): 93-101.
[9]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[10]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[11]	李贝, 胡煜华, 刘光海, 肖天, 宋春涛, 张屹, 王波, 王群青. 同频共享技术在2.1 GHz中的应用研究[J]. 电信科学, 2022, 38(12): 112-120.
[12]	陈山枝, 葛雨明, 时岩. 蜂窝车联网（C-V2X）技术发展、应用及展望[J]. 电信科学, 2022, 38(1): 1-12.
[13]	李光宇, 梁燕萍, 余立, 王昆, 陈扬铭, 刘思佳. 智能语音业务质量评估保障方案[J]. 电信科学, 2021, 37(5): 64-71.
[14]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[15]	粟栗, 陆黎, 张星, 刘畅. 基于图数据库的5G数据流转安全防护机制[J]. 电信科学, 2021, 37(4): 28-36.

采用大数据技术的移动DPI关联算法探索及实现

Research and implementation of mobile DPI association algorithm with big data technology

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 9

相关文章 15

Metrics

推荐阅读 0