随机森林在运营商大数据补全中的应用

doi:10.11959/j.issn.1000-0801.2016317

摘要/Abstract

摘要：

电信运营商有大量数据，但是鉴于多种原因，数据的质量不够理想，出现大量数据不完整甚至缺失。对于已有数据的挖掘，必须在数据满足质量要求且达到足够采样比例的前提下开展。依托现有的全国日志留存系统，设计完整数据的模板样库，鉴别不能满足质量要求的数据，使用随机森林算法，找到最符合的相同或相关数据，补全数据并提升数据质量；用回溯反馈的方法优化并扩充模板样库。在全国日志留存系统中构建数据补全子系统，实现端到端的数据质量保障和提升，补全并改善历史数据甚至实时数据的质量，最终满足数据处理和挖掘的要求，提升运营商数据质量和价值。

关键词: 大数据, 随机森林, 机器学习, 数据补全

Abstract:

Telecom operators have a lot of data, but in view of a variety of reasons, the quality of the data is not ideal, there are a lot of data is not complete or even missing. For existing data mining, it is necessary to carry out the data to meet the quality of the data and to achieve sufficient sampling proportion. Relying on the country's existing log retention system, template library design data integrity, authentication could not meet the quality requirements of the data, using the random forest algorithm, the same data with or related data was found, data was completed and data quality was improved, and the template library was extended by optimization of feedback. The construction of completion data subsystem in the system log retained end-to-end data quality guaranteed and improved quality, completed and improved the real-time data and historical data, and ultimately met the requirements of data processing and mining operators, improved data quality and value.

Key words: big data, random forest, machine learning, data completion

王铮,任华,方燕萍. 随机森林在运营商大数据补全中的应用[J]. 电信科学, 2016, 32(12): 7-12.

Zheng WANG,Hua REN,Yanping FANG. Application of random forest in big data completion[J]. Telecommunications Science, 2016, 32(12): 7-12.

图/表 3

参考文献 7

[1]	BREIMAN L . Random forests[J]. Machine Learning, 2001,45 (1): 5-32.
[2]	李慧 . 一种改进的随机森林并行分类方法在运营商大数据的应用[D]. 成都: 电子科技大学， 2015. LI H . An improved random forest parallel classification method and its application to big data of telecom operators[D]. Chengdu: University of Electronic Science and Technology of China, 2015.
[3]	BREIMAN L . Bagging predictors[J]. Machine Learning, 1996,24 (1): 123-140.
[4]	DIETTERICH T . An experimental comparison of three methods for constructing ensembles of decision trees: bagging boosting and randomization[J]. Machine Learning, 2000 (40): 139-157.
[5]	方匡南，吴见彬，朱建平，等. 随机森林方法研究综述[J]. 统计与信息论坛 , 2011(3): 32-38. FANG K N , WU J B , ZHU J P , et al. A review of technologies on random forests[J]. Statistics ＆ Information Forum, 2011(3): 32-38.
[6]	曹正凤 . 随机森林算法优化研究[D]. 北京: 首都经济贸易大学， 2014. CAO Z F . Study on optimization of random forests algorithm[D]. Beijing: Capital University of Economics and Business, 2014.
[7]	黄师师，黄哲学 . 随机森林理论浅析[J]. 集成技术 , 2013,2(1): 1-7. HUANG S S , HUANG Z X . A brief theoretical overview of random forests[J]. Journal of Integration Technology, 2013,2(1): 1-7.

[1]	郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023, 39(6): 44-51.
[2]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[3]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[4]	刘雅琼, 吕哲, 赵亚飞, 寿国础. AI技术在卫星通信/互联网领域的应用综述[J]. 电信科学, 2023, 39(2): 10-24.
[5]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[6]	徐嘉, 简志华, 金宏辉, 吴超, 游林, 吴迎笑. 基于中心对称局部二值模式的合成伪装语音检测方法[J]. 电信科学, 2023, 39(1): 72-78.
[7]	章坚武, 安彦军, 邓黄燕. DNS攻击检测与安全防护研究综述[J]. 电信科学, 2022, 38(9): 1-17.
[8]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[9]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[10]	于佳祺, 简志华, 徐嘉, 游林, 汪云路, 吴超. 基于联合特征与随机森林的伪装语音检测[J]. 电信科学, 2022, 38(6): 91-99.
[11]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[12]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[13]	周志超, 冯毅, 夏小涵, 冯瑜瑶, 蔡超, 邱佳慧, 杨立辉, 乌云霄. 基于移动蜂窝网的机器学习室外指纹定位方案[J]. 电信科学, 2021, 37(8): 85-95.
[14]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[15]	李想,李原,张子飞,杨哲. 基于密度聚类的网络性能故障大数据分析方法[J]. 电信科学, 2020, 36(9): 51-58.