大数据机器学习系统研究进展

doi:10.11959/j.issn.2096-0271.2015.01.004

大数据 ›› 2015, Vol. 1 ›› Issue (1): 35-54.doi: 10.11959/j.issn.2096-0271.2015.01.004

• 专题：大数据关键技术 • 上一篇下一篇

大数据机器学习系统研究进展

黄宜华^1,²

¹ 南京大学计算机软件新技术国家重点实验室南京 210023
² 南京大学PASA大数据技术实验室南京 210023

修回日期:2015-05-11 出版日期:2015-05-20 发布日期:2020-09-28
作者简介:黄宜华，男，博士，南京大学计算机系教授、博士生导师，中国计算机学会大数据专家委员会委员、副秘书长，江苏省计算机学会大数据专家委员会主任，CCF高级会员，南京大学PASA大数据技术实验室学术带头人。主要研究方向为大数据并行处理、大数据机器学习、Web信息抽取与挖掘技术，在国内外学术刊物和国际会议上发表学术论文60多篇，撰写并出版大数据处理方向书籍两部，是近年来出版的《深入理解大数据—大数据处理与编程实践》一书的作者。目前正在大数据并行化算法、大数据系统平台和应用方面开展深入的研究工作，主持或参与多项国家级和省部级科研项目，并在大数据领域开展了与Intel、UC Berkeley AMP Lab、微软亚洲研究院、百度、中兴通讯等国内外知名企业和研究机构的合作研究工作。
基金资助:
江苏省科技支撑计划基金资助项目(BE2014131)

Research Progress on Big Data Machine Learning System

Yihua Huang^1,²

¹ National Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210023, China
² PASA Big Data Laboratory, Nanjing University, Nanjing 210023, China

Revised:2015-05-11 Online:2015-05-20 Published:2020-09-28
Supported by:
Jiangsu Province Science and Technology Support Program(BE2014131)

摘要/Abstract

摘要：

要实现高效的大数据机器学习，需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统面临诸多技术挑战。近年来，大数据浪潮的兴起，推动了大数据机器学习的迅猛发展，使大数据机器学习系统成为大数据领域的一个热点研究问题。介绍了国内外大数据机器学习系统的基本概念、基本研究问题、技术特征、系统分类以及典型系统；在此基础上，进一步介绍了本实验室研究设计的一个跨平台统一大数据机器学习系统——Octopus（大章鱼）。

关键词: 大数据, 机器学习, 分布并行计算, 大数据处理平台

Abstract:

To achieve efficient big data machine learning, we need to construct a unified big data machine learning system to support both machine learning algorithm design and big data processing. Designing an efficient, scalable and easy-to-use big data machine learning system still faces a number of challenges. Recently, the upsurge of big data technology has promoted rapid development of big data machine learning, making big data machine learning system to become a research hotspot. The basic concepts, research issues, technical characteristics, categories, and typical systems for big data machine learning system, were reviewed. Then a unified and cross-platform big data machine learning system, Octopus, was presented.

Key words: big data, machine learning, distributed and parallel computing, big data processing platform

黄宜华. 大数据机器学习系统研究进展[J]. 大数据, 2015, 1(1): 35-54.

Yihua Huang. Research Progress on Big Data Machine Learning System[J]. Big Data Research, 2015, 1(1): 35-54.

图/表 7

图1

图2

图3

图4

图5

图6

图7

参考文献 23

[1]	Banko M , Brill E , KIEKINTVELD C , . Scaling to very large corpora for natural language disambiguation. Proceedings of the 39th Annual Meeting on Association for Computational Linguistics (ACL)， Toulouse, France, 2001,26～33.
[2]	Brants T , Popat C A , Xu P , et al. Large language models in machine translation. Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Language Learning， Prague, Czech Republic, 2007,858-867.
[3]	Wang Y , Zhao X M , Sun Z L , et al. Peacock: learning long-tail topic features for industrial applications. ACM Transactions on Intelligent Systems and Technology, 2014,9(4)
[4]	中国计算机学会大数据专家委员会. 2015年中国大数据发展趋势预测. 中国计算机学会通讯, 2014,11(1): 48-52.
	CCF Task Force on Big Data. Forecast for the development trend of big data in 2015 Communications of the China Computer Federation (CCCF), 2014,11(1): 48-52.
[5]	Gonzalez J E Emerging systems for large-scale machine learning. Proceedings of Tutorial on International Conference for Machine Learning(ICML) 2014， Beijing, China, 2014
[6]	中国计算机学会大数据专家委员会. 2014年中国大数据技术与产业发展白皮书. 2014中国大数据技术大会, 北京, 中国, 2014
	CCF Task Force on Big Data. White paper of China’s big data technology and industrial development in 2014 Proceedings of Big Data Conference China, Beijing, China, 2014
[7]	Boehm M , Tatikonda S , Reinwald B . et al. Hybrid parallelization strategies for large-scale machine learning in systemML. Proceedings of the VLDB Endowment， Hangzhou, China 2014
[8]	Markl V , YIN Z . Breaking the chains: on declarative data analysis and data independence in the big data era. Proceedings of the VLDB Endowment， Hangzhou, China 2014
[9]	Kraska T T . MLbase: a distributed machine-learning system. Proceedings of the 6th Conference on Innovative Data Systems Research(CIDR), Asilomar, CA, USA, 2013
[10]	Fan W F , Geerts F , Neven F , . Making queries tractable on big data with preprocessing: through the eyes of complexity theory. Proceedings of the VLDB Endowment, Trento, Italy, 2011:685～696.
[11]	Dean J , Ghemawat S . MapReduce:simplified data processing on large clusters. Communications of the ACM, 2004,51(1): 107～113.
[12]	Zaharia M , Chowdhury M , Das T , et al. Resilient distributed datasets:a fault-tolerant abstraction for in-memory cluster computing. Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation(NSDI), San Jose, CA, USA, 2012141-146.
[13]	Venkataraman S , Bodzsar E , Roy I , et al. Presto: distributed machine learning and graph processing with sparse matrices. Proceedings of the 8th ACM European Conference on Computer Systems(EuroSys), Prague, Czech Republic, 2013197-210.
[14]	Ghoting A , Krishnamurthy S , Pednault E , et al. SystemML: declarative machine learning on MapReduce. Proceedings of International Conference on Data Engineering (ICDE), Hannover, Germany, 2011231～242.
[15]	Boehm M , Tatikonda S , Reinwald B , et al. Hybrid parallelization strategies for large-scale machine learning in SystemML. Proceedings of the VLDB Endowment, Hangzhou, China, 2011231-242.
[16]	Low Y , Bickson D , Gonzalez J , et al. Distributed graphLab: a framework for machine learning and data mining in the cloud. Proceedings of the VLDB Endowment, Istanbul, Turkey, 2012716～727.
[17]	Li M , Andersen G D , Park W J , et al. Scaling distributed machine learning with the parameter server. Proceedings of Operating Systems Design and Implementation (OSDI), Broomfield, CD, USA, 2014；583～598.
[18]	Ho Q , Cipar J , Cui H W J , et al. More effective distributed ml via a stale synchronous parallel parameter server. Proceedings of Advances in Neural Information Processing Systems (NIPS), Nevada, USA, 2013：1223～1231.
[19]	Alexandrov A , Bergmann R , Ewen S , et al. The stratosphere platform for big data analytics. Vldb Journal, 2014,23(6):939-964.
[20]	Battré D , Ewen S , Hueske F , et al. Nephele/PACTs: a programming model and execution framework for web-scale analytical processing. Proceedings of ACM Symposium on Cloud Computing(SoCC), Indianapolis, Indiana, USA, 2010：119～130.
[21]	Dai W , Wei J , Zheng X , et al. Petuum:a framework for iterative-convergent distributed ML. Proceedings of Advances in Neural Information Processing Systems 26, Big Learning Workshop, California, USA, 2013
[22]	邹永强 . Mariana—腾讯深度学习平台的进展与应用. 2014年中国大数据技术大会，北京，中国， 2014
	Zou Y Q . Marina-the progress and application of deep learning platform of Tencent. Proceedings of Database Technology Conference China 2015， Beijing, China, 2014
[23]	刘伟 . 百度机器学习云平台. 2014年中国大数据技术大会，北京，中国， 2015
	Liu W . Machine learning cloud platform of Baidu Proceedings of Database Technology Conference China 2015， Beijing, China, 2015

大数据机器学习系统研究进展

Research Progress on Big Data Machine Learning System

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 23

相关文章 15

Metrics

推荐阅读 0

[1]	钱海红, 王茂异, 熊贇. 高等教育数字化转型的现状与发展研究[J]. 大数据, 2023, 9(3): 56-70.
[2]	梅宏, 杜小勇, 金海, 程学旗, 柴云鹏, 石宣化, 靳小龙, 王亚沙, 刘驰. 大数据技术前瞻[J]. 大数据, 2023, 9(1): 1-20.
[3]	沈阳, 余梦珑. 元宇宙与大数据：时空智能中的数据洞察与价值连接[J]. 大数据, 2023, 9(1): 103-110.
[4]	陈静. 人文大数据及其在数字人文领域中的应用[J]. 大数据, 2022, 8(6): 3-14.
[5]	罗煜楚, 吴昊, 郭宇涵, 谭绍聪, 刘灿, 蒋瑞珂, 袁晓如. 数字人文中的可视化[J]. 大数据, 2022, 8(6): 74-93.
[6]	张伶俐, 褚琦凯, 王桂娟, 张巍瀚, 蒲慧, 宋振金, 吴亚东. 文本情感可视分析技术及其在人文领域的应用[J]. 大数据, 2022, 8(6): 56-73.
[7]	郑童哲恒, 李斌, 冯敏萱, 常博林, 王东波. 历史典籍的结构化探索——《史记·列传》数字人文知识库的构建与可视化研究[J]. 大数据, 2022, 8(6): 40-55.
[8]	吴建汉, 司世景, 王健宗, 肖京. 联邦学习攻击与防御综述[J]. 大数据, 2022, 8(5): 12-32.
[9]	李汶龙, 袁媛, 安筱鹏. 刍议大数据治理的三大基础思维[J]. 大数据, 2022, 8(4): 34-45.
[10]	汤奇峰, 邵志清, 叶雅珍. 数据交易中的权利确认和授予体系[J]. 大数据, 2022, 8(3): 40-53.
[11]	王陈慧子, 蔡玮. 元宇宙数字经济：现状、特征与发展建议[J]. 大数据, 2022, 8(3): 140-150.
[12]	杨玫, 李玮, 乔思渊, 刘巍. 中国大数据产业产值测算方法研究[J]. 大数据, 2022, 8(3): 151-160.
[13]	李德仁, 张过, 蒋永华, 沈欣, 刘伟玲. 论大数据视角下的地球空间信息学的机遇与挑战[J]. 大数据, 2022, 8(2): 3-14.
[14]	仇晓兰, 胡玉新, 上官松涛, 付琨. 遥感卫星大数据高精度一体化处理技术[J]. 大数据, 2022, 8(2): 15-27.
[15]	刘伟权, 王程, 臧彧, 胡倩, 于尚书, 赖柏锜. 基于遥感大数据的信息提取技术综述[J]. 大数据, 2022, 8(2): 28-57.