一种改进的CLTree算法

doi:10.11959/j.issn.1000-0801.2016214

摘要/Abstract

摘要：

针对聚类算法CLTree 精度低、算法效率低的问题，提出了CLTree-R 算法，之后将其应用于UCI 数据集进行聚类分析。基于Spark平台的特性对数据进行并行处理，加快了算法运行效率。实验结果也表明，使用该算法对官方数据集进行聚类分析时，可以得到较为合理的顾客划分。

关键词: 聚类, Spark, 数据挖掘, 并行化

Abstract:

An improved algorithm called CLTree-R was proposed.It could compensate the shortcoming of CLTree algorithm such as low accurate and inefficiency.Then CLTree-R was applied in clustering analysis for UCI data sets.In order to improve the efficiency，data set was parallel processed on Spark platform.Experimental results show that this algorithm can get reasonable customer classification when making cluster analysis on official data set.

Key words: clustering, Spark, data mining, parallelization

李卓航. 一种改进的CLTree算法[J]. 电信科学, 2016, 32(8): 124-127.

Zhuohang LI. An improved CLTree algorithm[J]. Telecommunications Science, 2016, 32(8): 124-127.

图/表 4

图1

表1

表2

表3

参考文献 7

[1]	韩家炜 . 数据挖掘:概念与技术[M]. 北京: 机械工业出版社, 2012. HAN J W . Data mining:concepts and techniques[M]. Beijing: China Machine PressPress, 2012.
[2]	DUNHAM M H . Datamining introductory and advanced topics[M]. New York: ACM PressPress, 2002: 23-60.
[3]	QUINLAN J R . Machine learning[M]. Berlin: SpringerPress, 1986: 81-106.
[4]	QUINLAN J R.C4 . 5:program for machine learning[M]. New York: ACM PressPress, 1993.
[5]	薛薇, 陈欢歌 . SPSS Modeler 数据挖掘方法及应用[M]. 北京: 电子工业出版社, 2014. XUE W , CHEN H G . Data mining method and its application of SPSS Modeler[M]. Beijing: Publishing House of Electronics IndustryPress, 2014.
[6]	伍育红 . 聚类算法综述[J]. 计算机科学, 2015,42(6A): 491-499. WU Y H . General overview on clustering algorithms[J]. Computer Science, 2015,42(6A): 491-499.
[7]	BLAKE C . UCI repository of machine learning database[J]. Neural Information Processing Systems, 1998.

参数	取值
trip_ID	string
call_type	{A，B，C}
origin_call	如果call_type=‘A’，确定乘客；否则，为空值
origin_stand	如果call_type=‘B’，确定旅途的起始点，否则为空值
taxi_ID	integer
timestamp	integer
daytype	{D，E，F}
missing_data	{false，true}
polyline	{longitude，latitude}

类型	C3	C42	C21
trip_ID	T18	T104	T304
call_type	C	B	A
origin_call	NA	NA	59 708
origin_stand	NA	33	NA
taxi_ID	-	-	-
timestamp	-	-	-
daytype	{D}	{D，E}	{D，F}
missing_data	false	false	false
ployline	北部	中部	南部

[1]	刘昊双, 张永, 曹莹波. 基于K-means聚类的子结构相关适配迁移学习方法[J]. 电信科学, 2023, 39(3): 124-134.
[2]	赵海波, 相志军, 肖林松. 基于异构数据的电力短期负荷大数据预测方案[J]. 电信科学, 2022, 38(12): 103-111.
[3]	胡坚, 孙磊, 尹以雁, 杨晓康, 白金贵, 张叶江. 基于数据挖掘和地理可视化的4G/5G语音质量优化研究[J]. 电信科学, 2022, 38(10): 131-139.
[4]	金宁, 王庆扬. 基于聚类算法的6G典型应用场景研究[J]. 电信科学, 2022, 38(1): 121-131.
[5]	陆勰, 徐雷, 张曼君. 基于聚类的安全分级虚拟网络映射方法[J]. 电信科学, 2021, 37(9): 112-117.
[6]	刘子豪, 贾小军, 张素兰, 徐志玲, 张俊. 一种融合MeanShift聚类分析和卷积神经网络的Vibe++背景分割方法[J]. 电信科学, 2021, 37(3): 133-145.
[7]	吴季桦, 朱鹏宇, 吴子辰, 顾彬, 洪涛, 郭波, 王晶, 王敬宇. 基于无监督聚类和频繁子图挖掘的电力通信网缺陷诊断与自动派单[J]. 电信科学, 2021, 37(11): 51-63.
[8]	李想,李原,张子飞,杨哲. 基于密度聚类的网络性能故障大数据分析方法[J]. 电信科学, 2020, 36(9): 51-58.
[9]	李亚杰,赵永利,刘守东,张杰. 基于人工智能的光纤非线性均衡算法研究概述[J]. 电信科学, 2020, 36(3): 61-70.
[10]	孙洋,粟栗,张星,王峰生,杜海涛. 基于子语义空间的挖掘短文本策略方法[J]. 电信科学, 2020, 36(3): 83-94.
[11]	周晶,孙喜民,于晓昆,边新宁. 知识图谱与数据应用——智能推荐[J]. 电信科学, 2019, 35(8): 165-172.
[12]	江俊, 黄骅, 任条娟, 张登辉. 基于峰值密度聚类的电信业投诉热点话题检测方法[J]. 电信科学, 2019, 35(5): 97-103.
[13]	马大燕. 基于自动聚类模型的输电线路外力破坏预警预测[J]. 电信科学, 2019, 35(3): 135-139.
[14]	陈小峰,赵雅迪,张利鹏,朱峰. 电力潜在敏感客户预测的大数据方法应用[J]. 电信科学, 2019, 35(11): 117-124.
[15]	钟其柱, 吴修权, 罗耀满. 基于MDT智能分析LTE无线干扰的研究与应用[J]. 电信科学, 2019, 35(10): 130-136.