基于Spark的支持隐私保护的聚类算法

doi:10.11959/j.issn.2096-109x.2016.00087

网络与信息安全学报 ›› 2016, Vol. 2 ›› Issue (11): 47-51.doi: 10.11959/j.issn.2096-109x.2016.00087

基于Spark的支持隐私保护的聚类算法

高志强,李庆鹏,胡人远

武警工程大学信息工程系，陕西西安710086

修回日期:2016-06-26 出版日期:2016-11-01 发布日期:2016-11-15
作者简介:高志强（1989-），男，河北故城人，武警工程大学博士生，主要研究方向为大数据隐私保护、群体智能优化算法。|李庆鹏（1992-），男，山东济南人，武警工程大学硕士生，主要研究方向为大数据隐私保护、数据挖掘与机器学习。|胡人远（1992-），男，浙江台州人，武警工程大学硕士生，主要研究方向为云计算数据存储、元数据管理、同态加密算法。
基金资助:
国家自然科学基金资助项目(61309008);陕西省自然科学基金资助项目(2014JQ8049)

Clustering algorithm preserving differential privacy in the framework of Spark

Zhi-qiang GAO,Qing-peng LI,Ren-yuan HU

Department of Information Engineering,University of PAP,Xi’an 710086,China

Revised:2016-06-26 Online:2016-11-01 Published:2016-11-15
Supported by:
The National Natural Science Foundation of China(61309008);The Natural Science Foundation of Shaanxi Province(2014JQ8049)

摘要/Abstract

摘要：

针对经典聚类方法无法应对任意背景知识下恶意攻击者在海量数据挖掘过程中的恶意攻击问题，结合差分隐私保护机制，提出一种适用于Spark内存计算框架下满足差分隐私保护的聚类算法，并从理论上证明了改进算法满足在Spark并行计算框架下的ε-差分隐私。实验结果表明，改进算法在保证聚类结果可用性前提下，具有良好的隐私保护性和满意的运行效率，在海量数据聚类分析的隐私保护挖掘中，具有很好的应用前景和价值。

关键词: Spark, 差分隐私, 聚类算法, 数据挖掘, 大数据分析

Abstract:

Aimed at the problem that traditional methods fail to deal with malicious attacks with arbitrary background knowledge during the process of massive data clustering analysis,an improved clustering algorithm， especially designed for preserving differential privacy,under the framework of Spark was proposed.Furthermore,it’s theoretically proved to meet the standard of ε-differential privacy in the framework of Spark platform.Finally,experimental results show that guaranteeing the availability of proposed clustering algorithm,the improved algorithm has an advantage over privacy protection and satisfaction in the aspect of time as well as efficiency.Most importantly,the proposed algorithm shows a good application prospect in the analysis of data clustering preserving privacy protection and data security.

Key words: Spark,differential privacy, clustering algorithm, data mining, big data analysis

中图分类号:

TP301

高志强,李庆鹏,胡人远. 基于Spark的支持隐私保护的聚类算法[J]. 网络与信息安全学报, 2016, 2(11): 47-51.

Zhi-qiang GAO,Qing-peng LI,Ren-yuan HU. Clustering algorithm preserving differential privacy in the framework of Spark[J]. Chinese Journal of Network and Information Security, 2016, 2(11): 47-51.

图/表 5

参考文献 13

[1]	方滨兴 . 从层次角度看网络空间安全技术的覆盖领域[J]. 网络与信息安全学报, 2015,1(1): 1-6.
	FANG B X . A hierarchy model on the research fields of cyberspace security technology[J]. Chinese Journal of Network and Information Security, 2015,1(1): 1-6.
[2]	方滨兴, 贾焰, 李爱平 ,等. 大数据隐私保护技术综述[J]. 大数据, 2016(1): 1-18.
	FANG B X , JIA Y , LI A P ,et al. A survey of large data privacy protection technology[J]. Big Data, 2016,(1): 1-18.
[3]	SANJAY B , ARYYA G . A Wavelet-based approach to preserve privacy for classification mining[J]. Decision Sciences, 2006,37(4): 623-643.
[4]	CIHAN K , HUSEYIN P . Privacy-preserving naive Bayesian classifier-based recommendations on distributed data[J]. Computational Intelligence, 2015,31(1): 47-69.
[5]	ROY I , SETTY S T V , KILZER A ,et al. Airavat:security and privacy for MapReduce[C]// The 7th Usenix Symposium on Networked Systems Design and Implementation. 2010: 297-312.
[6]	杨绍禹, 王世卿 . MapReduce 模型下数据隐私保护机制研究[J]. 计算机科学, 2012,39(12): 153-157.
	YANG S Y , WANG S Q . Research on the mechanism of data privacy protection in the MapReduce model[J]. Computer Science, 2012,39(12): 153-157.
[7]	李洪成, 吴晓平, 陈燕 . MapReduce框架下支持差分隐私保护的k-means聚类方法[J]. 通信学报, 2016,37(2): 124-130.
	LI H C , WU X P , CHEN Y . K-means clustering method for differential privacy protection under the framework of MapReduce[J]. Journal on Communications, 2016,37(2): 124-130.
[8]	DWORK C . A firm foundation for private data analysis[J]. Communications of the ACM, 2011,54(1): 86-95.
[9]	DWORK C , . Differential privacy[C]// The 33rd International Colloquium on Automata,Languages and Programming. 2006: 1-12.
[10]	熊平, 朱天清, 王晓峰 . 差分隐私保护及其应用[J]. 计算机学报, 2014,37(1): 101-122.
	XIONG P , ZHU T Q , WANG X F . Differential privacy protection and its application[J]. Journal of Computer Science, 2014,37(1): 101-122.
[11]	丁丽萍, 卢国庆 . 面向频繁模式挖掘的差分隐私保护研究综述[J]. 通信学报, 2014,35(10): 200-209.
	DING L P , LU G Q . A survey of differential privacy protection for frequent pattern mining[J]. Journal on Communications, 2014,35(10): 200-209.
[12]	张啸剑, 孟小峰 . 面向数据发布和分析的差分隐私保护[J]. 计算机学报, 2014,37(4): 927-949.
	MENG X F , ZHANG X J . Differential privacy preserving data publishing and analysis[J]. Journal of Computers, 2014,37(4): 927-949.
[13]	王保义, 王冬阳, 张少敏 . 基于Spark和IPPSO_LSSVM的短期分布式电力负荷预测算法[J]. 电力自动化设备, 2016,36(1): 117-122.
	WANG B Y , WANG D Y , ZHANG S M . Short term distributed load forecasting algorithm based on Spark and IPPSO_LSSVM[J]. Electric Power Automation Equipment, 2016,36(1): 117-122.

实验算法			加速比
实验算法	2节点	3节点		4节点	5节点
本文算法	1.57	2.31		3.13	4.09
对比算法	1.14	1.48		1.62	1.83

[1]	余锋, 林庆新, 林晖, 汪晓丁. 基于生成对抗网络的隐私增强联邦学习方案[J]. 网络与信息安全学报, 2023, 9(3): 113-122.
[2]	应作斌, 方一晨, 张怡文. 动态聚合权重的隐私保护联邦学习框架[J]. 网络与信息安全学报, 2022, 8(5): 56-65.
[3]	张志颖, 田有亮. 基于结构熵约束的图聚类方法[J]. 网络与信息安全学报, 2021, 7(6): 155-166.
[4]	张心语, 张秉晟, 孟泉润, 任奎. 隐私保护的加密流量检测研究[J]. 网络与信息安全学报, 2021, 7(4): 101-113.
[5]	赵明烽, Lei Chen, 钟洋, 熊金波. 移动边缘群智感知动态隐私度量模型与评价机制[J]. 网络与信息安全学报, 2021, 7(1): 157-166.
[6]	张煜,吕锡香,邹宇聪,李一戈. 基于生成对抗网络的文本序列数据集脱敏[J]. 网络与信息安全学报, 2020, 6(4): 109-119.
[7]	何贤芒. 基于差分隐私保护技术的多方求和查询方法[J]. 网络与信息安全学报, 2020, 6(3): 14-18.
[8]	杨磊,郑啸,赵伟. 基于差分隐私的非等距直方图发布方法[J]. 网络与信息安全学报, 2020, 6(3): 39-49.
[9]	刘慧,毕仁万,熊金波,赵明烽,金彪,林劼. 移动群智感知中基于雾节点协作的感知用户身份隐私保护[J]. 网络与信息安全学报, 2019, 5(6): 75-84.
[10]	李森有,季新生,游伟. 基于置信度分析的差分隐私保护参数配置方法研究[J]. 网络与信息安全学报, 2019, 5(4): 29-39.
[11]	郭鹏, 钟尚平, 陈开志, 程航. 差分隐私GAN梯度裁剪阈值的自适应选取方法[J]. 网络与信息安全学报, 2018, 4(5): 10-20.
[12]	任君,熊金波,姚志强. 基于差分隐私模型的云数据副本安全控制方案[J]. 网络与信息安全学报, 2017, 3(5): 38-46.
[13]	蒋惯樟,王士同. 具备隐私信息保护能力的学习器研究[J]. 网络与信息安全学报, 2016, 2(6): 22-31.
[14]	邓诗卓,姚继涛,王波涛,陈月梅,袁野,李艳辉,王国仁. PCPIR-V：基于Spark的并行隐私保护近邻查询算法[J]. 网络与信息安全学报, 2016, 2(5): 64-76.
[15]	仝伟,毛云龙,陈庆军,王彬入,张保佳,仲盛. 抗大数据分析的隐私保护：研究现状与进展[J]. 网络与信息安全学报, 2016, 2(4): 44-55.

基于Spark的支持隐私保护的聚类算法

Clustering algorithm preserving differential privacy in the framework of Spark

在线阅读

pdf下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 13

相关文章 15

Metrics

推荐阅读 0