基于Hadoop的OSS域数据建模与采集方法研究

doi:10.11959/j.issn.1000-0801.2015021

摘要/Abstract

摘要：

针对电信运营商在构建大数据中心中所面临的数据采集、建模问题，分析了OSS 域的数据现状和特点，给出了一种基于层次分类梳理的建模方法论和数据模型管理思路，可实现对OSS域数据的统一采集、集中建模和数据共享，通过移动互联网端到端分析专题的应用案例进行验证，可对电信行业建设大数据中心提供借鉴。

关键词: 企业数据中心, ETL, 运营支撑系统, 数据采集, Hadoop

Abstract:

According to the data acquisition and the modeling problem of telecom operators facing in the construction of EDC, the data status and data characteristics in the OSS was analyzed, a modeling method of hierarchical classification of combing theory and data model management idea were proposed, the unification of OSS data collection, sharing the modeling and data concentration were realized. Through the application of end to end analysis on mobile internet terminal as case subject,it provides reference for the construction on telecom industry EDC.

Key words: EDC, ETL, OSS, data acquisition, Hadoop

雷蕾,李景文,宫大鹏,王睿,苏雷,陈宁江. 基于Hadoop的OSS域数据建模与采集方法研究[J]. 电信科学, 2015, 31(1): 128-138.

Lei Lei,Jingwen Li,Dapeng Gong,Rui Wang,Lei Su,Ningjiang Chen. Study on Data Modeling and Collection in OSS Based on Hadoop[J]. Telecommunications Science, 2015, 31(1): 128-138.

图/表 13

图2

图3

图4

图5

图6

图7

表1

图8

图9

图10

表2

表3

图11

参考文献 11

b1	Barroso L A , Dean J , Holzle U , et al. Websearch for a planet: The Google cluster architecture. IEEE Micro, 2003, 23（2） 22～28
2	Xu Y , Kostamaa P , Qi Y . A Hadoop based distributed loading approach to parallel data warehouses. Proceedings of SIGMOD 2011, Athens, Greece, 2011
3	詹志强，孟洛明，邱雪松 . 多专业网综合网管系统体系结构的研究. 北京邮电大学学报， 2003(1) Zhan Z Q , Meng L M , Qiu X S . Architecture of network management system for multi-technology network. Journal of Beijing University of Posts and Telecommunications, 2003(1)
4	Liu X F , Thomsen C , Pedersen T B . Cloud ETL: Scalable Dimensional ETL for Hadoop and Hive. DB Technical Report, 2012
5	Mohammed M , Mohd S A . A Framework for Interoperable Distributed ETL Components Based on SOA. Proceedings of ICSTE 2010, San Juan, PR, USA, 2010
6	陈桂汉 . 综合电信管理解决方案. 北京: 电子工业出版社， 2002 Chen G H . Integrated Telecommunications Management Solutions. Beijing: Publishing House of Electronics Industry, 2002
7	Ghemawat S , Gobioff H , Le-ung S T . The Google file system. Proceedings of 19th Symposium on Operating Systems Principles, Lake George, New York, USA, 2003
8	Corbett J C , Dean J , Epstein M . Google's globally distributed database. Proceedings of the 10th USENIX Symposium on Operating Systems Design and Implementation, OSDI 2012, Hollywood, CA, USA, 2012
9	Samuel P , Mal R , Kanth P . Automatic test case generation from UML communication diagrams. Information and Software Technology, 2007(49): 158～171
10	Ling F , Chang E , Dillon T . A semantic network-based design methodology for XML documents. ACM Transactions on Information System（TOIS）, 2002,20(4): 1～6
11	Dean J , Ghemawat S . MapReduce: Simplified data processing on large clusters. Proceedings of6th Symposium on Operating Systems Design and Implementation, OSDI'04, San Francisco, USA, 2004

专题名称	表说明	表名	数据粒度	存储周期
四网协同	GN口日统计	TM_SIGN_GN_D	天	30天
	GN口月统计	TM_SIGN_GN_M	月	24月
	天粒度高流量用户	TM_BSS_HIGH_FLOW_CUST_D	天	30天
	月度高流量用户	TM_BSS_HIGH_FLOW_CUST_M	月	24月
	…	…	…	…
价值小区分析	移动自有业务月统计	TM_BSS_SERVICE_M	月	24月
	价值小区收益月粒度表	TM_NIOS_VALUE_CELL_INCOME_M	月	24月
	BSC收益月粒度表	TM_NIOS_VALUE_BSC_INCOME_M	月	24月
	GPRS收益月粒度表	TM_DNMS_VALUE_GPRS_INCOME_M	月	24月
	…	…	…	…

业务类型	信息交互的可用性	信息交互的及时性	信息交互的稳定性
浏览类	首页响应成功率页面显示成功率	首页响应时长页面显示时长页面下载速率
视频类	流媒体播放成功率	流媒体播放等待时长流媒体业务下载速率	流媒体播放中断率
即时通信类	业务登录成功率	业务登录时延大数据（视频/图片）传输上下行速率	异常掉线率
应用下载类	应用下载成功率	应用下载速率

附着	承载建立	DNS解析	TCP链接	HTTP过程
EPS附着请求次数	专用承载激活请求次数	DNS解析成功率	TCP建立成功率	get响应成功率
EPS附着成功次数	专用承载激活成功次数	DNS解析时长	TCP建立时长	get响应时长
…	…	…	…	…

[1]	顾玥, 李丹, 高凯辉. 基于机器学习和深度学习的网络流量分类研究[J]. 电信科学, 2021, 37(3): 105-113.
[2]	陈慧光, 李欢. 智能专线业务编排系统架构设计与实现[J]. 电信科学, 2021, 37(10): 152-161.
[3]	石彦彬,喻琦,谢晓军. SDN/NFV引入后的运营支撑系统实施方案和策略[J]. 电信科学, 2018, 34(6): 171-182.
[4]	王源,江昊,吴明,姚冬桂,张毅,羿舒文,汪海,吴静. 基于用户移动网络接入位置的高效分布式相似矩阵计算方法[J]. 电信科学, 2018, 34(5): 26-38.
[5]	李成岭,郑雨翔,洪祎祺,李雯,郭慧敏. 电网数据存储技术选型的研究[J]. 电信科学, 2018, 34(5): 183-191.
[6]	彭巍,贺晓东,陆小铭,汲传鑫. 运营商DNS海量数据分析技术优化和应用[J]. 电信科学, 2018, 34(3): 138-144.
[7]	张建雄,吴晓丽,杨震,李洁. 基于工业物联网的工业数据采集技术研究与应用[J]. 电信科学, 2018, 34(10): 124-129.
[8]	徐海勇,黄岩. 基于PaaS技术的大数据云化平台实践[J]. 电信科学, 2018, 34(1): 148-157.
[9]	月球,肖子玉,吴丽华,沈蕾. 电信运营商NFV未来网络管理体系演进关键问题[J]. 电信科学, 2017, 33(4): 133-141.
[10]	方艾,张玉忠,徐雄,金铎. 基于MapR的IPTV用户收视行为分析的方案与实践[J]. 电信科学, 2017, 33(2): 138-144.
[11]	罗光峰,李奕群,陈慧光. 面向随选网络的业务编排系统研发实践[J]. 电信科学, 2017, 33(12): 148-156.
[12]	魏峥,施唯佳,张铮凯. 以数据驱动为核心的智慧家庭智能运营体系构建[J]. 电信科学, 2017, 33(10): 163-169.
[13]	汪保友,钱晶,袁时金. 基于Hadoop的电信大数据采集方案研究与实现[J]. 电信科学, 2017, 33(1): 135-142.
[14]	刘南海,雷蕾,王睿. 大数据时代运营商分析支撑域转型的实践与思考[J]. 电信科学, 2016, 32(8): 146-158.
[15]	谭造乐,郝志峰,蔡瑞初,肖晓军,卢宇. 基于信息增益的Hadoop瓶颈检测算法[J]. 电信科学, 2016, 32(7): 115-120.