基于大数据的移动用户行为分析系统与应用案例

doi:10.11959/j.issn.1000-0801.2016039

摘要/Abstract

摘要：

本系统基于Hadoop架构采集运营商网络侧产生的大数据，并对数据进行深度加工，挖掘其中相关的用户行为属性，构建用户行为分析模型，并对具体用户行为应用进行有效探索。针对技术选型、系统实现、数据采集、模型设计与应用案例，完整展示了移动用户行为分析系统的设计思路与实现。

关键词: Hadoop, ETL, 数据模型, 用户行为分析

Abstract:

Based on Hadoop’s architecture，this system collects and analyzes the telecom operator network’s data to build up user behavior model for effective exploration of big data applications.The whole process was discussed，including data collection，system design，implementation and application cases.

Key words: Hadoop, ETL, data model, user behavior analysis

谷红勋,杨珂. 基于大数据的移动用户行为分析系统与应用案例[J]. 电信科学, 2016, 32(3): 139-146.

Hongxun GU,Ke YANG. Mobile user behavior analysis system and applications based on big data[J]. Telecommunications Science, 2016, 32(3): 139-146.

图/表 7

表1

表2

图1

表3

图2

图3

表4

参考文献 15

[1]	WU X D ， ZHU X Q ， WU G Q ， et al. Data mining with big data[J]. IEEE Transactions on Knowledge＆Data Engineering， 2014，26（1）：97-102.
[2]	MUSOLESI M . Big mobile data mining：good or evil[J]. IEEE Internet Computing， 2014，18（1）：7-10.
[3]	MONTJOYE Y A D ， QUOIDBACH J ， ROBIC F ， et al. Social computing，behavioral-cultural modeling and prediction[M]. Berlin：Springer Heidelberg， 2013.
[4]	MONTJOYE Y A D ， HIDALGO C A ， VERLEYSEN M ， et al. Unique in the crowd：the privacy bounds of human mobility[J]. Open Access Publications from Université Catholique De Louvain， 2013，3（6）：776.
[5]	OLIVEIRA R D ， KARATZOGLOU A ， CONCEJERO C P ， et al. Towards a psychographic user model from mobile phone usage[C]// CHI’11 Extended Abstracts on Human Factors in Computing Systems， May 7-12，2011， Vancouver，BC.[S.l.：s.n.]，c 2011.
[6]	李文莲，夏健明 . 基于“大数据”的商业模式创新[J]. 中国工业经济， 2013（5）：83-95. LI W L ， XIA J M . Business model innovation based on“big data”[J]. China Industrial Economy， 2013（5）：83-95.
[7]	赵春雷 . “大数据”时代的计算机信息处理技术[J]. 世界科学， 2012（2）： 30-31. ZHAO C L ， . Computer information processing technology in the era of big data[J]. World Science， 2012（2）： 30-31.
[8]	AGRAWAL D ， BERNSTEIN P ， BERTINO E ， et al. Challenges and opportunities with big data[EB/OL].（2011-10-29）[2015-07-28]. .
[9]	王秀丽 . 数据挖掘功能特性及其应用流程分析[J]. 科技资讯， 2005（5）： 151-152. WANG X L ， . Functional characteristics and application of data mining[J]. Pioneering Withence ＆ Technology Monthly， 2005（5）： 151-152.
[10]	王永生 . 大数据时代的商业模式创新研究[J]. 南京财经大学学报， 2013（6）： 47-51. WANG Y S ， . Research on business model innovation in the era of big data[J]. Journal of Nanjing University of Finance and Economics， 2013（6）： 47-51.
[11]	李璐 . 实时分析迎战大数据[J]. 通信世界， 2012（29）. LI L ， . The challenge of the real-time analysis for large data[J]. Communications World， 2012（29）.
[12]	陈晓霞，徐国虎 . 大数据业务的商业模式探讨[J]. 电子商务， 2013（6）： 16-17. CHEN X X ， XU G H . The study of the big dataˊs business model[J]. E-commerce， 2013（6）： 16-17.
[13]	汪维佳 . 数量型数据关联规则挖掘及其在通信行业用户分析中的应用[J]. 统计科学与实践， 2005（3）： 28-30. WANG W J ， . Association rule of quantitative data and its application for communication industry[J]. Statistical Theory and Practice， 2005（3）： 28-30.
[14]	徐光宪，刘建辉，黄素芬 . 电信行业中数据挖掘的应用研究[J]. 现代管理科学， 2004（12）： 8-9. XU G X ， LIU J H ， HUANG S F . The application of data mining in telecom industry[J]. Modern Management Science， 2004（12）： 8-9.
[15]	郭明，郑惠莉 . 用数据挖掘法分析电信客户流失[J]. 现代通信， 2005（3）： 7-9. ZHENG H L ， GUO M . Analysis of telecom customer churn by data mining[J]. Communication Today，2005（3）： 7-9.

方案	特性	大规模部署成本	备注
传统商业数据库方案（如Oracle+小型机、DB2+小型机等）	计算、查询效率一般；运行稳定性高，适合于OLTP 系统；结构化数据处理	中	技术成熟、海量数据存在处理瓶颈
MPP 数据库（一体机，如Teradata、Oracle Exadata等）	大数据量处理TB、PB级；并发查询、计算能力高；线性扩展能力强；适合OLAP系统；结构化数据处理	较高	技术成熟、要注意产品跨代兼容问题
分布式数据库（如x86开放平台、Hadoop等）	大数据量处理PB级；并发查询、计算能力高；扩展能力非常强；适合OLAP系统；支持结构化与非结构化数据处理	较低	新技术，集成实施要求高，需要在相关技术上深度封装

数据源信息	每天数据量	采集平台
客户信息，业务订购，产品变更，产品、销售品、营销活动的发布、查询、变更等数据	10 GB	CRM
套餐、余额、账单、清单等数据	200 GB	计费系统
各种报表信息	4 GB	ODS
经分指标、市场分析、产品分析、报表	2 GB	EDW
合作伙伴信息	3.3 GB	电子渠道
使用易信、QQ、语音等方式的交互的客户报障、投诉等信息	300 GB	客服系统
增值业务订购、计费等数据	667 MB	ISMP
点到点短信、SP到点和点到SP短信的详单，包含主被叫方号码、类型、计费方、信息量等	10 GB	短信中心
点到点彩信、SP到点和点到SP彩信的详单，包含主被叫方号码、类型、计费方、信息量等	6 GB	彩信平台
全网用户（包括移动、宽带、固话等）登录的认证方式、登录时间、登录IP地址等信息	50 GB	UDB平台
告警信息、各专业网管数据信息	60 GB	智能网管
用户访问移动互联网的行为数据，包括用户手机号、访问URL、应用等信息	1.4 TB	移动DPI
宽带用户访问互联网的行为数据，包括用户IP地址、访问URL、访问时间、用户UA等信息	10 Gbit/s	固网DPI
用户信息及行为信息，包括用户手机号、IP地址、认证时间、基站位置等信息	10 GB	移动AAA系统
实时获得用户互联网访问的IP和宽带账号的对应关系	30 GB	固网AAA系统
用户的位置信息数据	100 GB	信令监测平台
用户上网日志信息	2 TB	移动上网日志留存系统
基地产品业务数据	1.7 GB	集团基地业务平台

序号	参数名称	参数值	单位	备注
1	移动数据中间层	9	TB
2	CCG数据中间层	18	TB
3	ODS数据中间层	1.8	TB
4	其他数据中间层	0	TB
5	中间层数据小计	28.8	TB	各项数据保存周期内，中间层数据合计
6	Hadoop汇总数据保存周期	1 095	天	汇总数据，永久保存，暂时按3年评估
7	Hadoop汇总数据比例	5‰		按照日原始数据量的5‰评估
8	Hadoop汇总数据小计	1.149 75	TB
10	合计	31.42	TB	原始数据+中间层数据+汇总数据
		Hadoop所需存储合计
11	副本策略	2		2副本
12	数据压缩比	2：1		不同数据存储采用不同的压缩比，2：1为综合压缩比（经验值）
13	冗余系数	80%		系统负荷不能超过总容量的 80%
14	Hadoop平台所需存储容量	58.91	TB	数据量合计×（1+副本策略）/压缩比/冗余系数
		Hadoop数据处理存储估算
15	每节点实际存储容量（Hadoop）	10	TB	2CPU，64 GB内存，12×1 TB，2块盘做RAID1，安装操作系统，10块盘不做RAID，可用10块盘
16	满足存储估算的data node数量	6	台	向上取整
		所需x86服务器数量计算结果
17	所需name node数量	2	台	同data node，内存不小于128 GB
18	所需data node数量	16	台	取性能估算或者存储估算的最大值
19	合计	18	台

特征	实际养卡用户	暂停使用手机（如出国）	流失用户
规律性	几乎无通话/短信/上网行为。平均通话/短信/上网间隔长	有平均通话/短信/上网间隔，通话/短信/上网间隔方差较大，用户停用手机呈跳跃性	平均通话/短信/上网间隔较小，用户手机使用呈平滑曲线减少
多元性	通话多元性单一	通话多元性较单一	通话多元性正常
空间行为	空间范围小	空间范围极大	空间范围正常
活动行为	活动行为单一，互动联系人少	活动行为几乎没有	活动行为较少
使用行为	用户手机使用少，各指标近乎零	用户手机使用少，各指标近乎零	用户手机使用减少，各指标低于正常水平
关联性	关联性复杂	关联性唯一	关联性唯一