电信科学 ›› 2018, Vol. 34 ›› Issue (3): 145-155.doi: 10.11959/j.issn.1000-0801.2018096

• 运营技术广角 • 上一篇    下一篇

基于FKS的信令采集与监控技术

汪保友,姚健,张正卿   

  1. 中国联合网络通信有限公司上海市分公司，上海 200050
  • 修回日期:2018-01-20 出版日期:2018-03-01 发布日期:2018-04-02
  • 作者简介:汪保友（1968–），男，博士，中国联合网络通信有限公司上海市分公司高级工程师，主要研究方向为数据科学、数据挖掘、数据签名。|姚健（1981–），男，中国联合网络通信有限公司上海市分公司工程师、大数据中心总经理，主要研究方向为数据科学、移动互联网、通信网络规划。|张正卿（1978–），男，中国联合网络通信有限公司上海市分公司工程师，主要研究方向为数据科学、移动互联网、通信网络规划。

Signaling collection and monitoring technology based on FKS

Baoyou WANG,Jian YAO,Zhengqing ZHANG   

  1. Shanghai Branch of China United Network Communications Co.,Ltd.,Shanghai 200050,China
  • Revised:2018-01-20 Online:2018-03-01 Published:2018-04-02

在线阅读

5

PDF下载

463

摘要：

运营商信令数据具有丰富的应用价值，但其价值时效性强，随着时间的流逝而快速衰减。为了更好地服务于实时营销场景，必须有效提升信令数据的实时处理及分析能力。首先介绍某运营商基于FKS的信令采集处理方案，该方案综合发挥了Flume、Kafka、Spark Streaming三组件的各自优势，对运营商打造实时决策中心，起着重要支撑作用。此外，提出针对 Kafka 中消费者组对各主题（topic）消费情况的监控方案，该方案对实时流采集故障及时预警提供了有效的手段，在某运营商大数据平台运营实践过程中，有效减少信令消息队列拥堵现象，规避信令数据丢失风险，对实际生产运营支撑起着良好的保障作用。

关键词: 实时流, 监控, Kafka, 大数据, 流计算

Abstract:

The signaling data of telecom operators,which have a wide range of applications and great of values,is big data in real sense.In order to serve the real-time marketing scenarios better,the real-time processing and analysis ability of signaling data must be improved effectively.Firstly,the scheme of signaling collection and processing based on FKS was introduced,which combined the advantages of components such as Flume,Kafka and Spark Streaming,and played an important supporting role for operators to build real-time decision center.Furthermore,the Kafka monitoring program for topic consumption of consumer groups was proposed,which provided effective means for warning faults of real-time flow collection.The monitoring solution could effectively reduce the message queue congestion,avoid the risk of data loss,and also could obtain good application effects in practice.

Key words: real-time streaming, monitoring, Kafka, big data, stream computing

中图分类号: 

No Suggested Reading articles found!