隐私计算场景下数据质量治理探索与实践

doi:10.11959/j.issn.2096-0271.2022073

大数据

• •

隐私计算场景下数据质量治理探索与实践

张燕，杨一帆，伊人，罗圣美，唐剑飞，夏正勋

星环信息科技（上海）股份有限公司，上海 200233

作者简介:张燕（1985- ），女，星环信息科技（上海）股份有限公司人工智能研究员，主要研究方向为隐私计算、可解释AI、因果分析等。杨一帆（1985- ），男，博士，星环信息科技（上海）有限公司产品总监、首席科学家，主要研究方向为统计（统计计算、生存分析、时间序列和生物信息）、机器学习中图计算、强化学习等。伊人（1989- ），女，博士，星环信息科技（上海）有限公司隐私计算首席科学家，主要研究方向为隐私计算、联邦学习、知识图谱等。罗圣美（1971- ），男，博士，星环信息科技（上海）股份有限公司大数据研究院院长，主要研究方向为大数据、并行计算、云存储、人工智能等。唐剑飞（1986- ），男，星环信息科技（上海）股份有限公司大数据技术标准研究员，主要研究方向为大数据、数据库、图计算等。夏正勋（1979- ），男，星环信息科技（上海）股份有限公司高级研究员，主要研究方向为人工智能、大数据、数据库、流媒体处理技术等。

Exploration and practice of data quality governance in privacy computing scenarios

ZHANG Yan, YANG Yifan, YI Ren, LUO shengmei, TANG Jianfei, XIA Zhengxun

Transwarp Information Technology (Shanghai) Co., Ltd., shanghai 200233, China

摘要/Abstract

摘要： 隐私计算是一种新型的数据处理技术，可以在保护数据隐私及安全的前提下，实现数据价值转化和流通。然而隐私计算场景中数据可用不可见的特性，对传统的数据质量治理工作形成了很大的挑战。针对上述问题，业界尚缺乏完善的解决方案，本文提出了一种适用于隐私计算场景的数据质量治理方法与流程，能够兼顾本地域及联邦域的数据质量治理工作，从而提升隐私计算的数据质量，并提高计算结果的精度。

关键词: 隐私计算, 联邦学习, 数据质量治理, 数据贡献度

Abstract: Privacy computing is a new data processing technology, which can realize the transformation and circulation of data value on the premise of protecting data privacy and security. However, the invisible feature of data in private computing scenarios poses a great challenge to the traditional data quality management. There is still a lack of perfect solutions to solve the above problems in the industry. This paper proposes a data quality governance method and process suitable for privacy computing scenarios, which can take into account the data quality governance of local and federal domains, thus improving the data quality of privacy computing and improving the accuracy of calculation results.

Key words: privacy computing, federated learning, data quality management, data contribution

张燕, 杨一帆, 伊人, 罗圣美, 唐剑飞, 夏正勋. 隐私计算场景下数据质量治理探索与实践[J]. 大数据, doi: 10.11959/j.issn.2096-0271.2022073.

ZHANG Yan, YANG Yifan, YI Ren, LUO shengmei, TANG Jianfei, XIA Zhengxun. Exploration and practice of data quality governance in privacy computing scenarios[J]. Big Data Research, doi: 10.11959/j.issn.2096-0271.2022073.

参考文献

[1]中国信息通信研究院. 隐私计算白皮书(2021年)[R], 2021.
[2]符芳诚,侯忱,程勇,陶阳宇. 隐私计算关键技术与创新[J]. 信息通信技术与政策, 2021(6):27-37.
[3]Stephen Hardy，Wilko Henecka，Hamish Ivey-Law，et al. Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption[Z/OL].[2021-03-10]. http://arxiv.org abs/1711.10677.
[4]李凤华,李晖,贾焰,俞能,翁健. 隐私计算研究范畴及发展趋势[J]. 通信学报, 2016, 37(4): 1-11.
[5]Yang Shengwen, Ｒen Bing, Zhou Xuhui, et al. Parallel distributed logistic regression for vertical federated learning without third-party coordinator[Z/OL]. [2021-03-10]．http://arxiv. org/abs/1911.09824.
[6]WANG Ｒ Y, STOＲEY V C, FIＲTH C P. A framework for analysis of data quality research[J]. IEEE Transactions on Knowledge and Data Engineering,1995,7(4) : 623－640.
[7]WAND Y, WANG Ｒ Y. Anchoring data quality dimensions in ontological foundations[J]. Communications of the ACM, 1996, 39( 11) : 86－95．
[8]PIPINO L L, LEE Y W, WANG Ｒ Y. Data quality assessment[J]. Communications of the ACM，2002, 45(4): 211－218．
[9]刘金晶,王梅. 大数据下的数据质量评价指标构建实践[J], 计算机技术与发展, 29(10), 46-50,2019.
[10]中国信息通信研究院. 数据资产管理实践白皮书 (4.0版年)[R],2019.
[11] Firstlogic．Data quality assessment: a methodology for success[R]. [s.l.]: Firstlogic,2003.
[12] HEER J, HELLERSTEIN J M, KANDEL S. Data wrangling[M], Encyclopedia of big data
technologies 2019. [S.l.:s.n.], 2019.
[13]杨青云,赵培英,杨冬青等.数据质量评估方法研究[J].计算机工程与应用,2004,40(9):3-4．
[14] Yair Wand, Rihard Y Wang. Anchoring Data Quality Dimensions in Ontological Foundations[J]. COMMUNICATIONS OF THE ACM, 1996; 39(11):86~95.
[15] Richard Y Wang, Veda C Storey, Christopher P Firth. A Framework for Analysis of Data Quality Research[J]. IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 1995;7(4):623~640.
[16]方幼林,杨冬青,唐世渭.数据仓库中数据质量控制研究[J].计算机工程与应用,2003;39(13):1-4.
[17]包阳, 齐璇, 李海龙. 大型软件系统数据质量问题研究[J]. 计算机工程与设计, 2011, 32(3): 963-967, 987.
[18]宗威,吴锋.大数据时代下数据质量的挑战[J].西安交通大学学报《社会科学版》. 2013,33(5):38-43.
[19]吴信东,董丙冰,堵新政,杨威, 数据治理技术[J].软件学报,2019,30(9): 2830-2856.
[20]中国信息通信研究院. 数据安全治理实践指南(1.0) [R],2001.
[21]黄刘生,田苗苗,黄河.大数据隐私保护密码技术研究综述.软件学报,2015,26(4):945−959. http://www.jos.org.cn/1000-9825/4794.htm [doi: 10.13328/j.cnki.jos.004794]
[22]彭南博,王虎. 联邦学习技术及实战[M], 电子工业出版社，2021年3月.
[23]杨强, 刘洋, 程勇, 等. 《联邦学习》[M]. 电子工业出版社, 2020.
[24]李安然, 面向特定任务的大规模数据集质量高效评估[D];中国科学技术大学;2021年。
[25]Guan Wang;Charlie Xiaoqian Dang, Ziye Zhou, Measure Contribution of Participants in Federated Learning [J]. IEEE International Conference on Big Data (Big Data), 2019.
[26]朱建明,张沁楠, 高胜,丁庆洋, 基于区块链的隐私保护可信联邦学习模型[J],2021;44(12): 2464-2484.
[27]王鑫,周泽宝,余芸等,一种面向电能量数据的联邦学习可靠性激励机制,计算机科学[J],2022; 49(3):77-84.
[28]Jakub Konecny，Brendan McMahan H，Yu Felix X，et al.Federated learning: strategies for improving communication efficiency[C].[2021-03-10]． https://arxiv.org/abs/1610. 05492.
[29]Li Tian，Anit Kumar Sahu，Ameet Talwalkar，et al.Federated learning: challenges， methods， and future directions[C]. IEEE Signal Processing Magazine, 2020. https://arxiv. org /abs /1908. 07873.
[30].Yao, Andrew. "Protocols for secure computations". 23rd Annual Symposium on Foundations of Computer Science (sfcs 1982). Vol. 1. pp. 160–164. November 1982.
[31].OMTP, Advanced Trusted Environment: OMTP TR1, 2009.
[32]杨强. 联邦学习:人工智能的最后一公里[J]. 智能系统学报, 2020(1).
[33]杨一帆, 邵一淼, 施宇. 一种分位数的获取方法,设备及存储介质: 申请(专利)号：202111153418.
[34]Emiliano De Cristofaro，Gene Tsudik. Practical private set intersection protocols with linear computational and bandwidth complexity[Z/OL]．［2021-03-10］．https://
eprint.iacr.org/2009/491.pdf.
[35]Emiliano De Cristofaro，Gene Tsudik. On the performance of certain Private Set Intersection protocols[C]，2012. https://eprint.iacr.org/2012/054.pdf.
[36]Michael J Freedman，Kobbi Nissim，Benny Pinkas.Efficient Private Matching and Set Intersection[C]，EUＲOCＲYPT’2004. https://iacr.org/archive/eurocrypt2004/30270001pm-eurocrypt04-lncs.pdf.
[37] I.J. Good, Weight of evidence: a brief survey. Bayesian statistics 2(1985), 249–270
[38] I. Rodriguez-Lujan, R. Huerta, C. Elkan, C.S. Cruz. Quadratic programming feature selection. J. Mach. Learn. Res., 11 (2) (2010), pp. 1491-1516.
[39] Johnson, Theodore, and T. Dasu. "Data quality and data cleaning." ACM SIGMOD International Conference on 2003.
[40] 叶焕倬,吴迪. 相似重复记录清理方法研究综述[J], 现代图书情报技术, 2010,197(9): 56-66.
[41] 朱晓峰;缺失值填充的若干问题研究[D];广西师范大学;2007年
[42] 程开明.统计数据预处理的理论与方法述评[J] .统计信息论坛, 2007, 22 (6): 98 - 103 .
[43]贾俊平,何晓群,金勇进. 统计学(第六版) [M].北京:中国人民大学出版社, 2000.
[44]Shapley Regression Value: Lipovetsky, Stan, and Michael Conklin. "Analysis of regression in game theory approach." Applied Stochastic Models in Business and Industry 17.4 (2001): 319-330.
[45]Shapley Sampling Value: Strumbelj, Erik, and Igor Kononenko. "Explaining prediction models and individual predictions with feature contributions." Knowledge and information systems 41.3 (2014): 647-665.
[46]Lundberg S M, Lee S I. A unified approach to interpreting model predictions[C]. Advances in Neural Information Processing Systems. 2017: 4765-4774.
[47]汪云云,陈松灿. 基于AUC的分类器评价和设计综述[J]. 模式识别与人工智能,2011,(1).64-71.
[48]张义莲, 颜晟, 朱旻捷,等. 机器学习系统毒化攻击综述[J]. 通信技术, 2020, 53(3):8.

隐私计算场景下数据质量治理探索与实践

Exploration and practice of data quality governance in privacy computing scenarios

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 2

Metrics

推荐阅读 0

[1]	王健宗, 孔令炜, 黄章成, 陈霖捷, 刘懿, 卢春曦, 肖京. 联邦学习隐私保护研究进展[J]. 大数据, 2021, 7(3): 130-149.
[2]	王健宗, 孔令炜, 黄章成, 陈霖捷, 刘懿, 何安珣, 肖京. 联邦学习算法综述[J]. 大数据, 2020, 6(6): 64-82.