大数据基础平台建设运营探讨

doi:10.3969/j.issn.1000-0801.2014.10.006

电信科学 ›› 2014, Vol. 30 ›› Issue (10): 33-37.doi: 10.3969/j.issn.1000-0801.2014.10.006

• 专题：大数据技术与应用 • 上一篇下一篇

大数据基础平台建设运营探讨

陈泳¹,高昂²

¹ 中国电信股份有限公司广东研究院广州 510630
² 中国电信股份有限公司广东分公司广州 510081

出版日期:2014-10-15 发布日期:2017-06-29

Analysis of Big Data Platform Implementation and Operation

Yong Chen¹,Ang Gao²

¹ Guangdong Research Institute of China Telecom Co., Ltd., Guangzhou 510630, China
² Guangdong Branch of China Telecom Co., Ltd., Guangzhou 510081, China

Online:2014-10-15 Published:2017-06-29

摘要/Abstract

摘要：

大数据从新兴技术走向规模化生产运营，承载大数据业务的基础平台建设与运营是其成功应用的一个关键因素。从服务器、存储架构选型与规划，基础平台运营等方面，分析总结了如何构建大数据基础平台，提出了企业中规模化运营大数据应用的思路与方法。

关键词: 大数据, 基础设施, 运营

Abstract:

Big data is transiting from emerging technology to large-scale production operations. The implementation and operation of shared infrastructure platform becomes key factors for successfully deploying big data. Analysis was made for infrastructure planning, integration and operation. Methodology was given for implementing a better shared platform for large scale big data application.

Key words: big data, infrastructure, operation

陈泳,高昂. 大数据基础平台建设运营探讨[J]. 电信科学, 2014, 30(10): 33-37.

Yong Chen,Ang Gao. Analysis of Big Data Platform Implementation and Operation[J]. Telecommunications Science, 2014, 30(10): 33-37.

集群	配置	用途
并行计算集群（15台）	12核E5 CPU、128 GB内存、10×3 TB硬盘	运行MapReduce任务，进行清单文件排序、索引
实时集群（8台）	12核E5 CPU、128 GB内存、10×3 TB硬盘	运行HBase服务，未归并清单缓存
应用服务器（10台）	8核E5 CPU、64 GB内存、4 TB硬盘	采集、预处理、缓冲入库、主/备查询服务

类型	代号	配置与适用场景
刀片	B2	主流2路，64 GB内存，高并发环境应用服务器
	B4	主流4路，256 GB内存，小型数据库
高密度	H2	主流2路，128 GB内存，分布式计算，偏实时查询，交易
机架	R21	主流2路，128 GB内存，10×3 TB硬盘，分布式计算，偏离线数据处理
	R22	主流2路，128 GB内存，24×600 GB硬盘，高性能MPP数据库
	R4	主流4路，256 GB内存，批处理

1	Gartner ． Gartner's hype cycle special report for 2014. , https://www.gartner.com/doc/2816917, 2014
2	黄勇军，冯明，丁圣勇等．电信运营商大数据发展策略探讨．电信科学， 2013, 29(3)
3	崔艳堂．腾讯大规模Hadoop集群实践．程序员， 2014(2): 99～103
4	中国电信集团公司．分布式平台实施技术指南， 2014
5	中国电信股份有限公司江西分公司． Hadoop平台规划方案V2.0, 2014

[1]	张洁, 赵永建, 肖冬瑞, 徐勇, 许建宏, 杨剑键. 基于意图的多模态网业协同架构研究[J]. 电信科学, 2023, 39(6): 73-84.
[2]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[3]	李姗姗, 许建宏, 李涛, 赵永建, 刘志飞. 运营商数字孪生网络能力成熟度模型研究[J]. 电信科学, 2023, 39(6): 149-158.
[4]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[5]	徐亮, 王烨, 郑然, 张基恒, 袁萍, 李鑫阳, 田宇. 通信网络运维多维评估模型设计及应用[J]. 电信科学, 2023, 39(4): 142-151.
[6]	乔稳, 王晓征, 任赣, 杨爱东, 王首峰, 王鹏, 叶晓舟, 欧阳晔. 面向融合算力与去中心化数字身份的增强三户模型（eCUA）及新型业务系统支撑信息框架[J]. 电信科学, 2023, 39(4): 152-164.
[7]	葛雨明, 毛祺琦. 车联网新型基础设施跨域协同部署研究[J]. 电信科学, 2023, 39(3): 24-31.
[8]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[9]	张洁, 许建宏, 赵永建, 高允翔, 陈勋. 基于意图与编排的新型ICT基础架构[J]. 电信科学, 2022, 38(Z1): 184-193.
[10]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[11]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[12]	李正茂, 王桂荣. 论算力时代的三定律[J]. 电信科学, 2022, 38(6): 13-17.
[13]	杨岭才. 关于快速形成我国天地一体通信运营能力的思考[J]. 电信科学, 2022, 38(4): 1-10.
[14]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[15]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.

大数据基础平台建设运营探讨

Analysis of Big Data Platform Implementation and Operation

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 5

相关文章 15

Metrics

推荐阅读 0