基于Hadoop的信令详单实时查询平台构建方法

doi:10.11959/j.issn.1000-0801.2015186

摘要/Abstract

摘要：

随着电信行业4G通信网络技术的普及，移动端互联网应用正蓬勃发展，随之带来的数据流量呈爆炸式增长，传统的处理方法难以支撑海量信令数据的实时查询需求，为此，提出了一种基于Hadoop 的大数据实时查询平台，以支撑超大规模的信令详单的处理。通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法，提供了实时数据查询服务。最后，在现网实验环境进行了验证，能够取得非常好的收益。

关键词: 信令, 大数据, Hadoop, HBase, 实时

Abstract:

With the popularity of 4G communication technology，and development of mobile internet application，the data flow is booming，and traditional processing method is difficult to support the massive signalling data real-time query requirement.Therefore，a kind of data real-time query platform based on Hadoop was put forward，to support the details of a single large scale signaling processing.Through data collection，data modeling，rowkey design，data compression and storage，etc.，real-time data query service was provided.Finally，the experimental environment of the current network was verified，which could get very good income.

陈丽,王锐. 基于Hadoop的信令详单实时查询平台构建方法[J]. 电信科学, 2015, 31(7): 145-151.

图/表 11

图1

图2

图3

图4

图5

图6

图7

图8

表1

表2

表3

参考文献 7

1	White T . Hadoop：The Definitive Guide. Sebastopo： O’Reilly Media， 2012
2	George L . HBase：The Definitive Guide. Canada： O’Reilly Media， 2011
3	Dimiduk N . HBase in Action. Greenwich： Manning Publications， 2012
4	汤雅妃，魏进武，张云勇 . 基于大数据的信令监测系统研究. 邮电设计技术， 2014（7）： 47～52 Tang Y F ， Wei J W ， Zhang Y Y . Research on big data based signaling monitoring platform. China Unicom Research Institute， 2014（7）： 47～52
5	傅巍玮，李仁发，刘钰峰等. 基于solr的分布式实时搜索模型研究与实现. 电信科学， 2011，27（11）： 51～56 Fu W W ， Li R F ， Liu Y F ，et al. Study and implementation of distributed real-time search engine model based on solr. Telecommunications Science， 2011，27（11）： 51～56
6	陈娜，张金娟，刘智琼等. 基于Hadoop平台的电信大数据入库及查询性能优化研究. 移动通信， 2014（7）： 58～63 Chen N ， Zhang J J ， Liu Z Q ，et al. Research on loading and querying performance tuning of telecom big data based on Hadoop platform. Mobile Communications， 2014（7）： 58～63
7	张雨，蔡鑫，李爱民等. 分布式文件系统与 MPP 数据库的混搭架构在电信大数据平台中的应用. 电信科学， 2013，29（11）： 12～16 Zhang N ， Cai X ， Li A M ，et al. Application of distribute file system ＆ MPP database mashup architecture in telecom big data platform. Telecommunications Science， 2013，29（11）： 12～16

场景	查询条件	涉及数据来源字段场景比率
场景1场景2场景3	按号码+时间（年月日）	号码、开始时间号码、开始时间、LAC、CI85%10%开始时间、LAC、CI 5%
	按号码+时间（年月日时）
	按号码+时间（年月日时分）
	按照多号码+跨度时间范围
	按单号码+跨时间范围按号码+时间+小区编号按号码+时间+小区编号

压缩格式	split	native	压缩率	速度	是否Hadoop自带	Linux命令
gzip	否	是	很高	比较快	是，直接使用	有
lzo	是	是	比较高	比较快	否，需要安装	有
snappy	否	是	比较高	很快	否，需要安装	没有
bzip2	是	否	最高	慢	是，直接使用	有

对比指标	GreenPlum	HBase	实验描述
入库性能	60 Mbit/s	150 Mbit/s	并行入库
并发	5～100次/s	超过20 000次/s	多线程并发请求
查询性能	平均30 s	平均500 ms	100并发主键查询
单点故障	无（集群无法工作）	有（自动切换、照常运行）	在线宕掉主节点
可扩展性	弱（重启集群生效）	强（修改配置、启动新添加节点、立即生效）	在线热插拔节点
二级索引	强（可创建联合索引）	弱（需要借助solr构建二级索引）	构建联合索引支撑

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	刘思杨, 张云飞. 从智能网联1.0到智能网联2.0：面向双智的实时数字孪生城市构建[J]. 电信科学, 2023, 39(3): 32-44.
[4]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[5]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[6]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[7]	高宇洋, 李巨浩, 何永琪, 陈章渊. 短距离弱耦合空分复用实时光传输技术[J]. 电信科学, 2022, 38(7): 31-36.
[8]	姜怡, 周越, 白雪茜, 吴滨, 刘晨, 张剑寅. 新一代多媒体实时通信系统架构增强演进研究[J]. 电信科学, 2022, 38(4): 156-166.
[9]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[10]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[11]	房新彦, 张艳霞, 崔瑞琳, 罗思维. P2P网络视频监控技术机制解析[J]. 电信科学, 2022, 38(12): 152-162.
[12]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[13]	欧阳晔, 王立磊, 杨爱东, 马利克·萨哈, 大卫·贝兰格, 高同庆, 韦乐平, 张亚勤. 通信人工智能的下一个十年[J]. 电信科学, 2021, 37(3): 1-36.
[14]	姚建明. 5G基站与邻频系统之间的干扰问题研究[J]. 电信科学, 2021, 37(11): 152-158.
[15]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.