基于本地化差分隐私的联邦学习方法研究

doi:10.11959/j.issn.1000-436x.2022189

通信学报 ›› 2022, Vol. 43 ›› Issue (10): 94-105.doi: 10.11959/j.issn.1000-436x.2022189

基于本地化差分隐私的联邦学习方法研究

康海燕, 冀源蕊

北京信息科技大学信息管理学院，北京 100192

修回日期:2022-09-23 出版日期:2022-10-25 发布日期:2022-10-01
作者简介:康海燕（1971− ），男，河北灵寿人，博士，北京信息科技大学教授，主要研究方向为网络安全与隐私保护等
冀源蕊（1997− ），女，宁夏银川人，北京信息科技大学硕士生，主要研究方向为网络安全与隐私保护
基金资助:
国家社会科学基金资助项目(21BTQ079);国家自然科学基金资助项目(61370139);教育部人文社科基金资助项目(20YJAZH046);北京未来区块链与隐私计算高精尖创新中心基金资助项目

Research on federated learning approach based on local differential privacy

Haiyan KANG, Yuanrui JI

School of Information Management, Beijing Information Science and Technology University, Beijing 100192, China

Revised:2022-09-23 Online:2022-10-25 Published:2022-10-01
Supported by:
The National Social Science Foundation of China(21BTQ079);The National Natural Science Foundation of China(61370139);The Ministry of Education of Humanities and Social Science Project(20YJAZH046);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing Fund

摘要/Abstract

摘要：

摘要：联邦学习作为一种协作式机器学习方法，允许用户通过共享模型而不是原始数据进行多方模型训练，在实现隐私保护的同时充分利用用户数据，然而攻击者仍有可能通过窃听联邦学习参与方共享模型来窃取用户信息。为了解决联邦学习训练过程中存在的推理攻击问题，提出一种基于本地化差分隐私的联邦学习（LDP-FL）方法。首先，设计一种本地化差分隐私机制，作用在联邦学习参数的传递过程中，保证联邦模型训练过程免受推理攻击的影响。其次，提出并设计一种适用于联邦学习的性能损失约束机制，通过优化损失函数的约束范围来降低本地化差分隐私联邦模型的性能损失。最后，在MNIST和Fashion MNIST数据集上通过对比实验验证了所提方法的有效性。

关键词: 差分隐私, 联邦学习, 深度学习

Abstract:

As a type of collaborative machine learning framework, federated learning is capable of preserving private data from participants while training the data into useful models.Nevertheless, from a viewpoint of information theory, it is still vulnerable for a curious server to infer private information from the shared models uploaded by participants.To solve the inference attack problem in federated learning training, a local differential privacy federated learning (LDP-FL) approach was proposed.Firstly, to ensure the federated model training process was protected from inference attacks, a local differential privacy mechanism was designed for transmission of parameters in federated learning.Secondly, a performance loss constraint mechanism for federated learning was proposed and designed to reduce the performance loss of local differential privacy federated model by optimizing the constraint range of the loss function.Finally, the effectiveness of proposed LDP-FL approach was verified by comparative experiments on MNIST and Fashion MNIST datasets.

Key words: differential privacy, federated learning, deep learning

中图分类号:

TP309.2

康海燕, 冀源蕊. 基于本地化差分隐私的联邦学习方法研究[J]. 通信学报, 2022, 43(10): 94-105.

Haiyan KANG, Yuanrui JI. Research on federated learning approach based on local differential privacy[J]. Journal on Communications, 2022, 43(10): 94-105.

图/表 7

表1

表2

参考文献 19

[1]	YANG Q , LIU Y , CHEN T J ,et al. Federated machine learning:concept and applications[J]. ACM Transactions on Intelligent Systems and Technology, 2019,10(2): 1-19.
[2]	KAIROUZ P , MCMAHAN H B , AVENT B ,et al. Advances and open problems in federated learning[J]. Foundations and Trends in Machine Learning, 2021,14(1-2): 1-210.
[3]	方晨, 郭渊博, 王一丰 ,等. 基于区块链和联邦学习的边缘计算隐私保护方法[J]. 通信学报, 2021,42(11): 28-40.
	FANG C , GUO Y B , WANG Y F ,et al. Edge computing privacy protection method based on blockchain and federated learning[J]. Journal on Communications, 2021,42(11): 28-40.
[4]	莫梓嘉, 高志鹏, 杨杨 ,等. 面向车联网数据隐私保护的高效分布式模型共享策略[J]. 通信学报, 2022,43(4): 83-94.
	MO Z J , GAO Z P , YANG Y ,et al. Efficient distributed model sharing strategy for data privacy protection in Internet of vehicles[J]. Journal on Communications, 2022,43(4): 83-94.
[5]	刘艺璇, 陈红, 刘宇涵 ,等. 联邦学习中的隐私保护技术[J]. 软件学报, 2022,33(3): 1057-1092.
	LIU Y X , CHEN H , LIU Y H ,et al. Privacy-preserving techniques in federated learning[J]. Journal of Software, 2022,33(3): 1057-1092.
[6]	SONG M K , WANG Z B , ZHANG Z F ,et al. Analyzing user-level privacy attack against federated learning[J]. IEEE Journal on Selected Areas in Communications, 2020,38(10): 2430-2444.
[7]	LIU X Y , LI H W , XU G W ,et al. Privacy-enhanced federated learning against poisoning adversaries[J]. IEEE Transactions on Information Forensics and Security, 2021,16: 4574-4588.
[8]	PHONG L T , AONO Y , HAYASHI T ,et al. Privacy-preserving deep learning via additively homomorphic encryption[C]// Proceedings of IEEE Transactions on Information Forensics and Security. Piscataway:IEEE Press, 2019: 1333-1345.
[9]	OU W , ZENG J , GUO Z ,et al. A homomor-phic-encryption-based vertical federated learning scheme for rick management[J]. Computer Science and Information Systems, 2020,17(3): 819-834.
[10]	ZHU H F , MONG G R S , NG W K . Privacy-preserving weighted federated learning within the secret sharing framework[J]. IEEE Access, 2020,8: 198275-198284.
[11]	DWORK C , . Differential privacy[C]// Proceedings of 2006 International Colloquium on Automata,Languages and Programming (ICALP). Berlin:Springer, 2006: 1-12.
[12]	GEYER R C , KLEIN T , NABI M . Differentially private federated learning:a client level perspective[J]. arXiv Preprint,arXiv:1712.07557, 2017.
[13]	ABADI M , CHU A , GOODFELLOW I ,et al. Deep learning with differential privacy[C]// Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security. New York:ACM Press, 2016: 308-318.
[14]	ZHAO C X , SVN Y , WANG D G . Federated learning with Gaussian differential privacy[C]// Proceedings of the 2020 2nd International Conference on Robotics,Intelligent Control and Artificial Intelligence. Piscataway:IEEE Press, 2020: 296-301.
[15]	WEI K , LI J , DING M ,et al. Federated learning with differential privacy:algorithms and performance analysis[J]. IEEE Transactions on Information Forensics and Security, 2020,15: 3454-3469.
[16]	TRUEX S , LIU L , CHOW K H ,et al. LDP-Fed:federated learning with local differential privacy[C]// Proceedings of the Third ACM International Workshop on Edge Systems,Analytics and Networking. New York:ACM Press, 2020: 61-66.
[17]	LIU R X , CAO Y , YOSHIKAWA M ,et al. FedSel:federated SGD under local differential privacy with top-k dimension selection[C]// International Conference on Database Systems for Advanced Applications. Berlin:Springer, 2020: 485-501.
[18]	ZHAO Y , ZHAO J , YANG M M ,et al. Local differential privacy-based federated learning for Internet of things[J]. IEEE Internet of Things Journal, 2021,8(11): 8836-8853.
[19]	MCMAHAN H B , MOORE E , RAMAGE D ,et al. Communication-efficient learning of deep networks from decentralized data[J]. arXiv Preprint,arXiv:1602.05629, 2016.

分类	方案	概述	不足
加密	文献[7]	基于同态加密思想设计联邦学习参数保护方法	计算代价高
	文献[8]	由终端自行生成密钥，联邦模型训练时结合加法同态技术对参数进行保护	计算代价高
	文献[9]	引入第三方进行私钥分配后再使用同态加密技术	计算代价高
	文献[10]	结合秘密分享技术对参与方传递的参数进行保护	通信开销大
中心化扰动	文献[12]	设计用户级别的差分隐私联邦学习算法	依赖中心参数服务器
	文献[14]	利用高斯噪声机制对参数进行保护	依赖中心参数服务器
	文献[15]	设计分阶段差分隐私联邦学习模型NbAFL	依赖中心参数服务器
本地化扰动	文献[16]	利用指数机制思想设计差分隐私参数扰动	性能损失较大
	文献[17]	根据权重对梯度进行选择后再进行扰动	性能损失较大
	文献[18]	选择部分梯度后将结果进行离散后再添加噪声	性能损失较大

符号	含义
N	联邦学习参与方数量
C_i	联邦学习中第i个参与方
D	所有参与方的训练数据集之和
D_i	第i个参与方对应的数据集
L_i	第i个参与方的本地损失函数
ε	本地化差分隐私定义中的隐私预算
δ	本地化差分隐私定义中相关参数
$M$	本地化差分隐私扰动机制
σ	本地化差分隐私噪声机制方差
q	联邦学习过程中每次迭代时的采样率
w	联邦学习中的模型参数
T	联邦学习总交流轮次
Δs	本地化差分隐私敏感度
p_i	第i个参与方的性能损失函数
P	本地化差分隐私整体性能损失
α(λ)	λ时刻的性能损失函数

数据集	方法	迭代轮次/次
数据集	方法	25	50	75	100	125	150
	LDP-FL	1.87	1.84	1.82	1.72	1.75	1.72
MNIST	NbAFL	1.89	1.88	1.90	1.81	1.82	1.79
	CL-FL	1.92	1.90	1.99	1.84	1.88	1.85
	LDP-FL	2.21	2.14	2.13	2.20	2.17	2.15
Fashion MINST	NbAFL	2.33	2.24	2.15	2.44	2.35	2.46
	CL-FL	2.52	2.44	2.47	2.58	2.68	2.77

基于本地化差分隐私的联邦学习方法研究

Research on federated learning approach based on local differential privacy

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 19

相关文章 15

Metrics

推荐阅读 0

[1]	陈东昱, 陈华, 范丽敏, 付一方, 王舰. 基于深度学习的随机性检验策略研究[J]. 通信学报, 2023, 44(6): 23-33.
[2]	李荣鹏, 汪丙炎, 张宏纲, 赵志峰. 知识增强的语义通信接收端设计[J]. 通信学报, 2023, 44(6): 70-76.
[3]	马鑫迪, 李清华, 姜奇, 马卓, 高胜, 田有亮, 马建峰. 面向Non-IID数据的拜占庭鲁棒联邦学习[J]. 通信学报, 2023, 44(6): 138-153.
[4]	金彪, 李逸康, 姚志强, 陈瑜霖, 熊金波. GenFedRL：面向深度强化学习智能体的通用联邦强化学习框架[J]. 通信学报, 2023, 44(6): 183-197.
[5]	马帅, 裴科, 祁华艳, 李航, 曹雯, 王洪梅, 熊海良, 李世银. 基于生成模型的地磁室内高精度定位算法研究[J]. 通信学报, 2023, 44(6): 211-222.
[6]	李开菊, 许强, 王豪. 冗余数据去除的联邦学习高效通信方法[J]. 通信学报, 2023, 44(5): 79-93.
[7]	余晟兴, 陈泽凯, 陈钟, 刘西蒙. DAGUARD：联邦学习下的分布式后门攻击防御方案[J]. 通信学报, 2023, 44(5): 110-122.
[8]	姜慧, 何天流, 刘敏, 孙胜, 王煜炜. 面向异构流式数据的高性能联邦持续学习算法[J]. 通信学报, 2023, 44(5): 123-136.
[9]	田有亮, 吴柿红, 李沓, 王林冬, 周骅. 基于激励机制的联邦学习优化算法[J]. 通信学报, 2023, 44(5): 169-180.
[10]	张佳乐, 朱诚诚, 孙小兵, 陈兵. 基于GAN的联邦学习成员推理攻击与防御方法[J]. 通信学报, 2023, 44(5): 193-205.
[11]	冯涛, 陈李秋, 方君丽, 石建明. 基于本地化差分隐私和属性基可搜索加密的区块链数据共享方案[J]. 通信学报, 2023, 44(5): 224-233.
[12]	张淑芬, 董燕灵, 徐精诚, 王豪石. 基于目标扰动的AdaBoost算法[J]. 通信学报, 2023, 44(2): 198-209.
[13]	余晟兴, 陈钟. 基于同态加密的高效安全联邦学习聚合框架[J]. 通信学报, 2023, 44(1): 14-28.
[14]	汤凌韬, 王迪, 刘盛云. 面向非独立同分布数据的联邦学习数据增强方案[J]. 通信学报, 2023, 44(1): 164-176.
[15]	袁程胜, 郭强, 付章杰. 基于差分隐私的深度伪造指纹检测模型版权保护算法[J]. 通信学报, 2022, 43(9): 181-193.