基于OLAP技术的物联网客户数据平台构建

doi:10.11959/j.issn.2096-3750.2020.00141

物联网学报 ›› 2020, Vol. 4 ›› Issue (2): 122-128.doi: 10.11959/j.issn.2096-3750.2020.00141

基于OLAP技术的物联网客户数据平台构建

郭悦,龙岳,张勋,屈阳

中国联合网络通信有限公司研究院，北京 100176

修回日期:2020-02-03 出版日期:2020-06-30 发布日期:2020-06-12
作者简介:郭悦（1986- ），女，辽宁沈阳人，中国联合网络通信有限公司研究院大数据研究中心软件开发工程师，主要研究方向为开源技术和前端开发等|龙岳（1987- ），女，湖南株洲人，中国联合网络通信有限公司研究院大数据研究中心软件开发工程师，主要研究方向为大数据框架新技术和开发等|张勋（1990- ），男，北京人，中国联合网络通信有限公司研究院大数据研究中心软件开发工程师，主要研究方向为开源技术和容器技术等|屈阳（1985- ），女，河北石家庄人，中国联合网络通信有限公司研究院工程师，主要研究方向为大数据相关技术和开发等

Construction of Internet of things customer data platform based on OLAP technology

Yue GUO,Yue LONG,Xun ZHANG,Yang QU

China Unicom Research Institute,Beijing 100176,China

Revised:2020-02-03 Online:2020-06-30 Published:2020-06-12

摘要/Abstract

摘要：

现阶段物联网客户业务飞速发展，行业中逐渐暴露出客户运营能力较弱的管理问题，这导致客户分析处理（AP,analytical processing）值普遍较低、盈利低、运营成本高，因此，急需增强物联网海量数据分析能力，为业务发展提供数据指引。以提升客户价值为目标，利用大数据技术、多维分析技术、海量查询技术，对物联网企业客户进行画像，实现运营服务精细化、高效化的客户运营平台构建，从技术实现方面探讨了如何进行数据运营平台的构建。

关键词: 大数据, 物联网客户运营, 联机分析处理

Abstract:

At this stage,the Internet of things (IoT) customer business is developing rapidly.The management problems of weak customer operation ability have gradually exposed in the IoT industry,resulting in the low AP (analytical processing) value of customers,the low profitability and high operating cost.Therefore,it is urgent to enhance the massive data analysis capabilities of the IoT to provide data guidance for business development.To improve the customer value,big data technology,multi-dimensional analysis technology and massive query technology were used to make portraits of IoT enterprise customers,and realize the construction of the customer data platform with refined and efficient operation services.It was introduced how to construct the data operation platform from the aspect of technology implementation.

Key words: big data, IoT customer operation, on line analytical processing (OLAP)

中图分类号:

TP39

郭悦,龙岳,张勋,屈阳. 基于OLAP技术的物联网客户数据平台构建[J]. 物联网学报, 2020, 4(2): 122-128.

Yue GUO,Yue LONG,Xun ZHANG,Yang QU. Construction of Internet of things customer data platform based on OLAP technology[J]. Chinese Journal on Internet of Things, 2020, 4(2): 122-128.

图/表 11

图1

图2

表1

图3

图4

图5

表2

图6

表3

表4

表5

参考文献 10

[1]	丁飞 . 物联网开放平台[M]. 北京: 电子工业出版社, 2018.
	DING F . Internet of things open platform[M]. Beijing: Publishing House of Electronics IndustryPress, 2018.
[2]	SANDY R , URI L , SEAN O,等 . Spark高级数据分析[M]. 北京: 人民邮电出版社, 2017.
	SANDY R , URI L , SEAN O ,et al. Advanced analysis with Spark[M]. Beijing: Posts and Telecom PressPress, 2017.
[3]	ISMAIL B I , GOORTANI E M , KARIM M B A ,et al. Evaluation of docker as edge computing platform[C]// IEEE Conference on Open Systems. IEEE, 2015: 130-135.
[4]	TAKASE W , NAKAMURA T , WATASE Y ,et al. A solution for secure use of Kibana and Elasticsearch in multi-user environment[J]. arXiv:1706.10040, 2017
[5]	苏敏坚 . 大数据是运营商复兴的“起搏器”[J]. 中国电信业, 2017(4): 40-41.
	SU M J . Big data is the pacemaker of operators’ renaissance[J]. China Telecommunication Trade, 2017(4): 40-41.
[6]	范铭 . 运营商进入调速换挡关键时期大数据创造新机遇[J]. 通信世界, 2017(16):54.
	FAN M . Operators enter the key period of speed shift and big data create new opportunities[J]. Communications World, 2017(16):54.
[7]	JD-Presto研发团队.Presto技术内幕[M]. 北京: 电子工业出版社, 2016.
	JD-Presto研发团队. Presto technology insider[M]. Beijing: Publishing House of Electronics IndustryPress, 2016.
[8]	蒋守壮 . 基于 Apache Kylin 构建大数据分析平台[M]. 北京: 清华大学出版社, 2017.
	JIANG S Z . Building a big data analytics platform based on Apache Kylin[M]. Beijing: Tsinghua University PressPress, 2017.
[9]	Apache Kylin核心团队. Apache Kylin权威指南[M]. 北京: 机械工业出版社, 2007.
	Apache Kylin Core Team. Apache Kylin authoritative guide[M]. Beijing: China Machine PressPress, 2007.
[10]	王建民 . 工业大数据技术综述[J]. 大数据, 2017,3(6): 3-14.
	WANG J M . Survey on industrial big data[J]. Big Data Research, 2017,3(6): 3-14.

测试用例编号	GN-01
测试用例名称	各个OLAP引擎性能对比
测试目的	测试Presto、Kylin1.5、Kylin2.0在数据量分别为千万规模和亿规模下的查询性能
场景描述	计数、求和与10个维度的过滤
预设条件测试过程	Kylin已经进行了预计算
	序号	测试步骤	检查点
	1	在Presto、Kylin1.5、Kylin2.0上执行计数运算	记录各个引擎的运算时间
	2	在Presto、Kylin1.5、Kylin2.0上执行求和运算	记录各个引擎的运算时间
	3	在where后面增加10个维度条件	记录各个引擎的运算时间

展示内容	数据指标	评价分数
运营建议评价体系	高活跃、高价值客户	9～10
	高价值客户	7～8
	普通客户	5～6
	待维系客户	3～4
	低价值客户	1～2
	僵尸客户	0
客户经营特征	连接数	—
	连接数上月增长	—
	活跃率上月增长	—
	上月出账金额	—
客户行为特征	激活率	—
	订购情况	—
	累计离网率	—
	API使用次数	—
	活跃率	—
客户基本属性	客户名称	—
	主要行业	—
	重点产品	—
	细分产品	—
	客户编号	—
	系统内标识	—

名称	配置	与实际差异	备注
机架式服务器	E5-2620V4 8 Core×2	模拟	实验室环境性能弱于实际环境
	128 G(8×16 G、4×32 G)
	系统盘：240 G s3510以上SSD
	硬盘：4 T(6×12)
	网卡：10 GE×4 GE×2 GE×1(IPMI) RAID卡
负载均衡器	Nginx	模拟
光纤交换机	—	无法模拟

软件名称	版本	与实际差异
操作系统	CentOS 7	一致
数据库系统	MySQL 5.7	一致
查询工具	Hive 3.1.0	一致
Hadoop集群	Cloudera CDH V5.7	一致
数据仓库	HBase V1.4.10	一致
Kylin	V2.6	一致
Presto	V0.225	一致

测试项	测试语句	测试结果	耗时
数据量全分区查询	select count(*) from dm_custom_2018	总记录条数：16 718 581条	1 min 7 s
全量数据多维度查询	SELECT BUS_ACC_YEAR,AREA,PROVINCE FROM dm_custom_2018 a WHERE STR_TO_DATE(BUS_ACC_YEAR,'%Y-%m-%d')<=STR_TO_DATE('20180801','%Y%m%d') AND STR_TO_DATE(BUS_ACC_YEAR ,'%Y-%m-%d')>= (SELECT DATE_ SUB (STR_TO_DATE ('20180831','%Y%m%d') GROUP BY a.BUS_ACC_YEAR,AREA,PROVINCE	总记录条数：122 536条	测试3次：1.845 s 1.731 s 1.703 s
全量数据多维度聚合查询	SELECT BUS_ACC_YEAR,AREA,PROVINCE,SUM (a.CONNECTIONS) AS VALUE FROM dm_custom_2018 a WHERE STR_TO_DATE(BUS_ACC_YEAR,'%Y-%m-%d')<= STR_TO_DATE ('20180801','%Y%m%d') AND STR_TO_DATE(BUS_ACC_YEAR ,'%Y-%m-%d')>= (SELECT DATE_SUB (STR_TO_ DATE('20180831','%Y%m%d') GROUP BY a.BUS_ACC_YEAR,AREA,PROVINCE	总记录条数：122 536条	测试3次：2.166 s 1.932 s 2.021 s
分区数据多维度聚合查询	SELECT a.'拍照月融合类型',a.sumUserG,a.sumUserP,(a.sumUserG/ a.sumUserP)as rateY from (SELECT ls.'拍照月融合类型',sum(ls.`拍照月用户数1`) as sumUserG,sum (ls.'拍照月用户数') as sumUserP from 'dm_201801` ls where ls.'省份'='北京' and ls.'拍照月融合类型'!='2I'GROUP BY ls.'拍照月融合类型') as a SELECT a.'拍照月融合类型',a.sumUserG,a.sumUserP,(a.sumUserG/a.sumUserP)as rateY from (SELECT ls.'拍照月融合类型',sum(ls.'拍照月用户数 1') as sumUserG ,sum(ls.'拍照月用户数') as sumUserP from 'dm_201801' ls where ls.'省份'='北京' and ls.'入网渠道' ='集团渠道' GROUP BY ls.'拍照月融合类型') as a;	总记录条数：1 167 533条	测试3次：3.776 s 2.932 s 3.221 s

基于OLAP技术的物联网客户数据平台构建

Construction of Internet of things customer data platform based on OLAP technology

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 10

相关文章 7

Metrics

推荐阅读 0

[1]	张瞩熹,田旺,朱少川,刘洪岩,朱熙. 多源异构航班航迹数据流实时融合方法研究[J]. 物联网学报, 2020, 4(3): 60-68.
[2]	于涛,刘丽君,陈泓君,于瑶. 长输油气管道大数据挖掘与应用[J]. 物联网学报, 2020, 4(3): 112-119.
[3]	龚淑蕾,李堃,童恩,郭洪德,周毅,王晔,丁飞. 基于蜂窝工业物联网的智能工厂解决方案[J]. 物联网学报, 2019, 3(2): 108-114.
[4]	张秋颖,周乐,唐静瑶,傅洛伊,王新兵. 万物互联：学术数据的互联、挖掘与可视化[J]. 物联网学报, 2018, 2(4): 56-60.
[5]	耶旭立,曾强,刘立宇,苏郁,康萌. 基于信令大数据构建覆盖“端管云”物联网端到端业务保障系统[J]. 物联网学报, 2018, 2(2): 85-93.
[6]	余辰,张丽娟,金海. 大数据驱动的智能交通系统研究进展与趋势[J]. 物联网学报, 2018, 2(1): 56-63.
[7]	丁恩杰,胡青松. 矿山物联网顶层设计思路[J]. 物联网学报, 2018, 2(1): 69-75.