基于Kudu的大数据平台实时业务处理能力提升方案

doi:10.11959/j.issn.1000-0801.2019158

电信科学 ›› 2019, Vol. 35 ›› Issue (10): 151-156.doi: 10.11959/j.issn.1000-0801.2019158

• 运营技术广角 • 上一篇

基于Kudu的大数据平台实时业务处理能力提升方案

顾飞杨, 孔莹

中国电信股份有限公司上海分公司，上海 200042

修回日期:2019-05-26 出版日期:2019-10-20 发布日期:2019-11-03
作者简介:顾飞杨（1978- ），男，中国电信股份有限公司上海分公司企业信息化部数据中心副主任、工程师，主要研究方向为大数据技术以及应用等|孔莹（1982- ），女，中国电信股份有限公司上海分公司企业信息化部数据中心副主任、工程师，主要研究方向为异地跨机房的大数据平台集群、数据快速迁移等

Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform

Feiyang GU, Ying KONG

Shanghai Branch of China Telecom Group Co.,Ltd.,Shanghai 200042,China

Revised:2019-05-26 Online:2019-10-20 Published:2019-11-03

摘要/Abstract

摘要：

针对目前Hadoop大数据平台实时业务处理能力较差的难点，研究了国际最先进的Kudu列存储作为HDFS块存储的有效补充的理论，阐述了利用Kudu和Spark提供的主键索引和内存加速，有效解决大数据平台无法支持实时入库、增量更新和SQL关联查询等业务痛点的技术实现方法。实验效果证明了方法对提升大数据平台实时业务处理能力的作用。

关键词: Kudu, 大数据, 列存储, 主键索引, 内存加速, 实时入库, 增量更新, SQL关联查询

Abstract:

Aiming at the difficulty of real-time business processing capability of Hadoop big data platform,the theory of the most advanced Kudu column storage was studied as an effective complement of HDFS block storage,and the use of primary key index and memory acceleration provided by Kudu and Spark was illustrated to effectively solve the big data platform cannot support the technical implementation methods of business pain points such as real-time warehousing,incremental update and SQL-related query.The experimental results prove the effect of the method on improving the real-time business processing capability of the big data platform.

Key words: Kudu, big data, column storage, primary key index, memory acceleration, real-time access, incremental update, SQL join query

中图分类号:

TP311.13

顾飞杨, 孔莹. 基于Kudu的大数据平台实时业务处理能力提升方案[J]. 电信科学, 2019, 35(10): 151-156.

Feiyang GU, Ying KONG. Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform[J]. Telecommunications Science, 2019, 35(10): 151-156.

图/表 7

图1

图2

表1

表2

图3

图4

表3

参考文献 4

[1]	汤劲松, 蔡韵, 王晓亮 ,等. 电信运营商大数据基础能力建设与实践[J]. 电信科学, 2018,34(1): 158-165.
	TANG J S , CAI Y , WANG X L ,et al. Construction and practice of big data fundamental ability for telecom operators[J]. Telecommunications Science, 2018,34(1): 158-165.
[2]	王瑞通, 李炜春 . 大数据基础存储系统技术研究[J]. 计算机技术与发展, 2017(8): 66-72.
	WANG R T , LI W C . Research of big data storage system technology[J]. The Computer Technology and Development, 2017(8): 66-72.
[3]	陈涛, 鲁萌, 陈彦名 . 运营商大数据技术应用研究[J]. 电信科学, 2017,33(1): 130-134.
	CHEN T , LU M , CHEN Y M . Research on operators’ big data technologies and applications[J]. Telecommunications Science, 2017,33(1): 130-134.
[4]	鲍远松 . 基于 Kudu 的结构化数据存储分析方案设计[J]. 信息技术与标准化, 2017(10): 60-63.
	BAO Y S . Structured data storage analysis scheme design based on Kudu[J]. Information Technology and Standardization, 2017(10): 60-63.

表名	导入数据量/条	时间/s
wls_carrier	11 284	2.43
trs_dwdmwave	28 083	5.92

表名	5 min		15 min
表名	更新数据量	时间/s	更新数据量	时间/s
inc_addr_segm_eqp	33	6	42	8
inc_asn_link_route	5 032	6	35 981	35
inc_cbl_pair	176	7	1 606	13
inc_c_servicecustomer	174	6	2 088	6
cbl_jnt_box	4	6	32	7

实时业务应用	Kudu应用前	Kudu应用后
流式数据实时入库	块存储	列存储
	HDFS整个数据块写入实时性较差，分钟级别	Tablet逐条写入实时性高、秒级
流式数据增量更新	HDFS不支持更新	列存储支持更新
	不支持增量更新，只能插入	支持增量更新和插入
	全量更新时间为分钟至小时级别	增量更新时间为秒级
实时数据复杂SQL查询	不支持内存缓存	支持内存缓存
	没有索引功能	具备主键索引功能
	查询时间为分钟至小时级别	查询时间为秒级

[1]	韩璐, 陈威宇, 张斐, 何建锋, 苏怀振. 差异化需求下的非关系型分布式报送信息大数据分类方法[J]. 电信科学, 2023, 39(6): 114-121.
[2]	韩雪. 基于电力大数据的电力骨干通信网络毁伤韧性评估方法[J]. 电信科学, 2023, 39(5): 136-143.
[3]	孙玉娣. 基于电信大数据的5G网络海量用户复访行为预测模型[J]. 电信科学, 2023, 39(2): 157-162.
[4]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[5]	黄更生, 黄宇红, 郭漫雪, 郑健平, 葛欣. DT时代面向数据服务的新型基础设施架构[J]. 电信科学, 2022, 38(7): 138-145.
[6]	李攀攀, 谢正霞, 乐光学, 刘鑫. 基于深度学习的无线通信接收方法研究进展与趋势[J]. 电信科学, 2022, 38(2): 1-17.
[7]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[8]	刘志勇, 何忠江, 阮宜龙, 单俊峰, 张超. 大数据安全特征与运营实践[J]. 电信科学, 2021, 37(5): 160-169.
[9]	刘晓军,武娟,徐晓青. 大数据架构剖析及数据安全融合技术[J]. 电信科学, 2020, 36(7): 146-155.
[10]	刘玉娇,宋坤煌,王向. 基于电力大数据的经济景气指数分析[J]. 电信科学, 2020, 36(6): 166-171.
[11]	程卫华,何肖嵘. 基于大数据的网页浏览质差分析方法研究[J]. 电信科学, 2020, 36(11): 174-181.
[12]	高建,陈文彬,庞建民,于华东,宋国瑞. 基于组合密钥的智能电网多源数据安全保护[J]. 电信科学, 2020, 36(1): 134-138.
[13]	谭晓敏,方艾,梁冰,杨豪杰. 基于决策树的EPG体验异常原因定位[J]. 电信科学, 2019, 35(8): 158-164.
[14]	鲁泽霖,李强治. 电子商务平台的演化逻辑和运营机理[J]. 电信科学, 2019, 35(7): 152-158.
[15]	廖明,陈明,周冀,向小华,李芳,焦叶芬. 基于大数据融合算法的DNS日志分析系统[J]. 电信科学, 2019, 35(5): 129-139.

基于Kudu的大数据平台实时业务处理能力提升方案

Scheme of enhancing real-time business processing capabilities based on Kudu for the big data platform

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 4

相关文章 15

Metrics

推荐阅读 0