大数据架构剖析及数据安全融合技术

doi:10.11959/j.issn.1000-0801.2020052

电信科学 ›› 2020, Vol. 36 ›› Issue (7): 146-155.doi: 10.11959/j.issn.1000-0801.2020052

大数据架构剖析及数据安全融合技术

刘晓军,武娟,徐晓青

中国电信股份有限公司研究院，广东广州 510630

修回日期:2020-02-20 出版日期:2020-07-20 发布日期:2020-07-28
作者简介:刘晓军（1977- ），男，中国电信股份有限公司研究院工程师，主要研究方向为云计算、互动媒体技术、核心网络大数据分析与人工智能等|武娟（1977- ），女，中国电信股份有限公司研究院高级工程师，主要研究方向为云计算、互联网及电信网络技术、大数据、人工智能等|徐晓青（1990- ），男，博士，中国电信股份有限公司研究院工程师，主要研究方向为互联网及电信网络技术、人工智能和大数据等

Big data architecture analysis and data security fusion technology

Xiaojun LIU,Juan WU,Xiaoqing XU

Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China

Revised:2020-02-20 Online:2020-07-20 Published:2020-07-28

摘要/Abstract

摘要：

从剖析大数据通用技术架构入手，总结数据处理的相关流程；分析和对比数据中台、分级构建两种模式的业务场景、管理架构、建设难度、技术要求、数据处理等，总结其适用范围和优缺点；最后聚焦多级架构模式下数据安全融合技术问题，提出相应的解决办法，为行业大数据构建选型提供有益的借鉴和参考。

关键词: 大数据, 技术框架, 数据安全融合

Abstract:

First of all,the general technical architecture of big data was deeply analyzed,and the relevant processes of data processing were further summarized,Through the analysis and comparison of the two modes of data middle platform and hierarchical construction,the relevant business scenarios,management architecture,construction difficulty,technical requirements,data processing,etc.were summarized,and their adaptation scope,advantages and disadvantages were summarized.The multi-level architecture mode was focused on according to the security fusion technology problems.Then the corresponding solutions were put forward.Finally,for the industry big data construction mode,useful reference was provided.

Key words: big data, technical framework, data security fusion

中图分类号:

TP399

刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.

Xiaojun LIU,Juan WU,Xiaoqing XU. Big data architecture analysis and data security fusion technology[J]. Telecommunications Science, 2020, 36(7): 146-155.

图/表 7

图1

图2

图3

表1

图4

图5

图6

参考文献 8

[1]	苏洋, 刘晓军, 唐勇 . 游戏大数据平台研究与实践[J]. 电信科学, 2014,30(10): 21-26.
	SU Y , LIU X J , TANG Y . Research and practice of big data platform of games[J]. Telecommunications Science, 2014,30(10): 21-26.
[2]	高强, 张凤荔, 王瑞锦 . 轨迹大数据:数据处理关键技术研究综述[J]. 软件学报, 2017,28(4): 959-992.
	GAO Q , ZHANG F L , WANG R J . Big data:a review of key technologies in data processing[J]. Journal of Software, 2017,28(4): 959-992.
[3]	曹珍富, 董晓蕾, 周俊 ,等. 大数据安全与隐私保护研究进展[J]. 计算机研究与发展, 2016,53(10): 2137-2151.
	CAO Z F , DONG X L , ZHOU J ,et al. Research advances on big data security and privacy preserving[J]. Journal of Computer Research and Development, 2016,53(10): 2137-2151.
[4]	MCAFEE A , BRYNJOLFSSON E . Big data:the management revolution[J]. Harv Bus Rev, 2012,90(10): 60-66.
[5]	LYNCH C . Big data:How do your data grow?[J]. Nature, 2008,455(7209): 28-29.
[6]	XUELONGL I , HAIGANG G . A survey on big data systems[J]. Scientia Sinica Informationis, 2015,45(1): 35-38.
[7]	陈杰, 苏洋, 唐勇 . 手机游戏大数据实时计算框架研究与实践[J]. 移动通信, 2016,40(5): 79-84.
	CHEN J , SU Y , TANG Y . Research and practice on real-time big data computing framework for mobile games[J]. Mobile Communications, 2016,40(5): 79-84.
[8]	刘晓军, 武娟, 徐晓青 . 大数据平台AI赋能技术方案探讨与验证[J]. 广东通信技术, 2019(6): 12-16.
	LIU X J , WU J , XU X Q . Discussion and verification of AI enabling technology scheme for big data platform[J]. Guangdong Communication Technology, 2019(6): 12-16.

对比项	数据中台	分级构建
业务场景	具备贯穿整体业务和产品的数据主线	各业务数据间缺乏直接或有效关联性
管理架构	互联网扁平化	多级分层管理架构
建设难度	难度较大、需优化Hadoop底层	难度较小、开源Hadoop生态可满足
灵活服务	需要为统一性做些牺牲	小平台、灵活性较高
技术条件	需要全方位的大数据顶级人才团队	边学习、边实践，逐步开发完善
数据处理	PB级、难度颇大	TB级、大多类SQL模式

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[9]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[10]	程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.
[11]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[12]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.
[13]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.
[14]	廖明,陈明,周冀,向小华,李芳,焦叶芬. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019, 35(5): 129-139.
[15]	宫元峰,黄轶. 基于大数据分析的室内深度覆盖优化方法研究[J]. 电信科学, 2019, 35(5): 149-154.

大数据架构剖析及数据安全融合技术

Big data architecture analysis and data security fusion technology

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 8

相关文章 15

Metrics

推荐阅读 0