统一数据湖技术研究和建设方案

doi:10.11959/j.issn.1000-0801.2021019

电信科学 ›› 2021, Vol. 37 ›› Issue (1): 121-128.doi: 10.11959/j.issn.1000-0801.2021019

统一数据湖技术研究和建设方案

刘志勇, 何忠江, 刘敬龙, 阮宜龙, 孟照方

中国电信集团有限公司，北京 100033

修回日期:2020-12-15 出版日期:2021-01-20 发布日期:2021-01-01
作者简介:刘志勇（1965- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）总经理、教授级高级工程师，主要研究方向为云网融合、大数据和AI等。
何忠江（1980- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）三级经理，主要研究方向为大数据应用规划、建设和AI应用等。
刘敬龙（1973- ），男，中国电信集团有限公司云网运营部（大数据和 AI 中心）三级经理，主要研究方向为大数据平台规划、建设和AI平台规划、建设等。
阮宜龙（1977- ），男，中国电信集团有限公司云网运营部（大数据和 AI中心）三级经理，主要研究方向为大数据平台规划、建设、运营等。
孟照方（1984- ），男，中国电信集团有限公司云网运营部（大数据和AI中心）高级技术专家，主要研究方向为网络大数据平台规划、建设，位置能力研究开发等。

Technology research and construction scheme of unified data lake

Zhiyong LIU, Zhongjiang HE, Jinglong LIU, Yilong RUAN, Zhaofang MENG

China Telecom Group Co., Ltd., Beijing 100033, China

Revised:2020-12-15 Online:2021-01-20 Published:2021-01-01

摘要/Abstract

摘要：

从企业数字化转型要求和大数据平台面临的挑战分析入手，阐述了统一数据湖的建设思路和入湖原则，提出了采用逻辑统一、物理分散、统一数据目录、统一安全管理、应用解耦融合的BSS/MSS/OSS跨域融合的统一数据湖建设方案，并描述了统一数据湖建设实践经验。

关键词: 数据湖, 边缘计算, 数据目录, 敏捷开发

Abstract:

From the requirements of enterprise digital transformation and the challenges faced by big data platform, the construction ideas and principles of unified data lake were expounded.A unifid data lake construction scheme based on BSS/MSS/OSS cross domain fusion was proposed, which adopted logical unification, physical dispersion, unified data directory, unified security management and application of decoupling fusion.The construction practice of unified data lake was described in recent two years.

Key words: data lake, edge computing, data catalog, agile development

中图分类号:

TP399

刘志勇, 何忠江, 刘敬龙, 阮宜龙, 孟照方. 统一数据湖技术研究和建设方案[J]. 电信科学, 2021, 37(1): 121-128.

Zhiyong LIU, Zhongjiang HE, Jinglong LIU, Yilong RUAN, Zhaofang MENG. Technology research and construction scheme of unified data lake[J]. Telecommunications Science, 2021, 37(1): 121-128.

图/表 7

图1

图2

图3

图4

图5

图6

图7

[1]	DIXON J . Pentaho,Hadoop and data lakes[Z]. 2015.
[2]	Wikipedia Data lake[Z]. 2017.
[3]	胡军军, 谢晓军, 石彦彬 ,等. 电信运营商数据湖技术实施策略[J]. 电信科学, 2019,35(2): 84-93.
	HU J J , XIE X J , SHI Y B ,et al. Telecom operators’ data lake technology implementation strategy[J]. Telecommunications Science, 2019,35(2): 84-93.
[4]	WILDER-JAMES . The data lake dream[Z]. 2014.

[1]	王淑玲, 孙杰, 王鹏, 杨爱东. 云边协同中的资源调度优化[J]. 电信科学, 2023, 39(2): 163-170.
[2]	王帅, 陈丹, 肖羽. 5G行业专网对外服务能力研究[J]. 电信科学, 2022, 38(Z1): 143-148.
[3]	顾博, 敖婷. 基于MEC的定位技术在车联网中的应用[J]. 电信科学, 2022, 38(Z1): 250-258.
[4]	伏玉笋, 唐金辉. 使能未来工厂的5G能力综述[J]. 电信科学, 2022, 38(9): 18-35.
[5]	张天魁, 徐瑜, 刘元玮, 杨鼎成, 任元红. 无人机辅助MEC系统：架构、关键技术与未来挑战[J]. 电信科学, 2022, 38(8): 3-16.
[6]	邢文娟, 雷波, 赵倩颖. 算力基础设施发展现状与趋势展望[J]. 电信科学, 2022, 38(6): 51-61.
[7]	邓平科, 张同须, 施南翔, 张童, 邵天竺, 郑韶雯. 星算网络——空天地一体化算力融合网络新发展[J]. 电信科学, 2022, 38(6): 71-81.
[8]	冯晓丽, 刘晨, 张丽伟, 王晓韵. 基于5G MEC的智慧化园区解决方案[J]. 电信科学, 2022, 38(5): 54-63.
[9]	邹璐珊, 黄晓雯, 杨敬民, 郑艺峰, 张光林, 张文杰. 移动边缘计算中资源分配和定价方法综述[J]. 电信科学, 2022, 38(3): 113-132.
[10]	绳韵, 许晨, 郑光远. 基于NOMA的超密集MEC网络任务卸载和资源分配方案[J]. 电信科学, 2022, 38(2): 35-46.
[11]	刘云毅, 张建敏, 冯晓丽, 张丽伟. 5G MEC系统安全能力部署方案[J]. 电信科学, 2022, 38(11): 143-152.
[12]	陈瑞凤, 李君, 徐春婕, 程清波, 吕晓军. 5G在铁路智能车站中的应用[J]. 电信科学, 2021, 37(7): 86-95.
[13]	孙茜, 田霖, 周一青, 冯晨, 王园园, 周继华. 面向B5G和6G的边缘计算与网络切片资源管理[J]. 电信科学, 2021, 37(6): 55-65.
[14]	章坚武, 王路鑫, 孙玲芬, 章谦骅, 单杭冠. 人工智能在5G系统中的应用综述[J]. 电信科学, 2021, 37(5): 14-31.
[15]	赵军辉, 张丹阳, 贺林. 智慧城轨交通通信技术的分析与展望[J]. 电信科学, 2021, 37(4): 1-13.

统一数据湖技术研究和建设方案

Technology research and construction scheme of unified data lake

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 4

相关文章 15

Metrics

推荐阅读 0