面向分布式机器学习的网络模态创新

doi:10.11959/j.issn.1000-0801.2023128

电信科学 ›› 2023, Vol. 39 ›› Issue (6): 44-51.doi: 10.11959/j.issn.1000-0801.2023128

面向分布式机器学习的网络模态创新

郭泽华¹, 朱昊文¹, 徐同文¹^,²

¹ 北京理工大学自动化学院，北京 100081
² 延安大学物理与电子信息学院，陕西延安 716099

修回日期:2023-06-09 出版日期:2023-06-20 发布日期:2023-06-01
作者简介:郭泽华（1985- ），男，博士，北京理工大学自动化学院特别研究员，主要研究方向为可编程网络、机器学习和网络安全
朱昊文（1992- ），男，北京理工大学自动化学院博士生，主要研究方向为分布式机器学习与可编程网络
徐同文（1990- ），男，北京理工大学自动化学院博士生、延安大学物理与电子信息学院讲师，主要研究方向为计算机网络
基金资助:
国家自然科学基金资助项目(62002019);CCF-之江实验室联合创新基金(K2022QA0AB02);嵩山实验室预研项目(YYJC022022009)

Network modal innovation for distributed machine learning

Zehua GUO¹, Haowen ZHU¹, Tongwen XU¹^,²

¹ School of Automation, Beijing Institute of Technology, Beijing 100081, China
² School of Physics and Electronic Information, Yan’an University, Yan’an 716099, China

Revised:2023-06-09 Online:2023-06-20 Published:2023-06-01
Supported by:
The National Natural Science Foundation of China(62002019);CCF-Zhijiang Laboratory Joint Innovation Fund(K2022QA0AB02);Songshan Laboratory Pre-research Project(YYJC022022009)

摘要/Abstract

摘要：

分布式机器学习作为人工智能的主流计算架构，目前仍然存在数据性能传输不高、模型训练速度慢等缺陷，传统的网络模态无法满足分布式机器学习场景的通信语义，继而无法解决这些缺陷以进一步提升模型训练性能。采用多模态网络技术，基于应用特点设计了面向分布式机器学习场景的新型网络模态及其运行逻辑，为多模态网络技术在垂直行业的应用提供了借鉴意义。

关键词: 多模态网络, 分布式机器学习, 模型训练, 人工智能

Abstract:

Distributed machine learning, as a popular computing architecture for artificial intelligence, still faces challenges of slow model training and poor data performance transmission.Traditional network modalities were un able to meet the communication needs of distributed machine learning scenarios, hindering the improvement of model training performance.New network modalities and operation logic for distributed machine learning scenarios using multimodal network technology were proposed.This approach was designed based on application characteristics and provides implications for the use of multimodal network technology in various industries.

Key words: multimodal network, distributed machine learning, model training, artificial intelligence

中图分类号:

TP393

郭泽华, 朱昊文, 徐同文. 面向分布式机器学习的网络模态创新[J]. 电信科学, 2023, 39(6): 44-51.

Zehua GUO, Haowen ZHU, Tongwen XU. Network modal innovation for distributed machine learning[J]. Telecommunications Science, 2023, 39(6): 44-51.

图/表 3

参考文献 13

[14]	LI Y J , LIU I J , YUAN Y F ,et al. Accelerating distributed reinforcement learning with in-switch computing[C]// Proceedings of the 46th International Symposium on Computer Architecture. New York:ACM Press, 2019: 279-291.
[15]	GRAHAM R L , BUREDDY D , LUI P ,et al. Scalable hierarchical aggregation protocol (SHArP):a hardware architecture for efficient data reduction[C]// Proceedings of 2016 First International Workshop on Communication Optimizations in HPC (COMHPC). Piscataway:IEEE Press, 2017: 1-10.
[1]	新一代人工智能发展规划[R]. 2017.
	The new generation of artificial intelligence development plan[R]. 2017.
[2]	ABHISHEKVA , BINNY S , JOHAN T R ,et al. Federated learning:collaborative machine learning with out centralized training data[J]. International Journal of Engineering Technology and Management Sciences, 2022: 355-359.
[3]	KAIROUZ P , MCMAHAN H B , AVENT B ,et al. Advances and open problems in federated learning[J]. Advances and Open Problems in Federated Learning, 2021.
[4]	冯琦 . 基于安全多方计算的数据隐私保护技术研究[D]. 武汉:武汉大学, 2021.
	FENG Q . Research on data privacy protection technology based on secure multi-party computing[D]. Wuhan:Wuhan University, 2021.
[5]	LI M , ZHOU L , YANG Z ,et al. Parameter server for distributed machine learning[J]. Big Learning NIPS Workshop, 2013(6).
[6]	LI M , ANDERSEN D G , PARK J W ,et al. Scaling distributed machine learning with the parameter server[C]// Proceedings of the 11th USENIX conference on Operating Systems Design and Implementation. New York:ACM Press, 2014: 583-598.
[7]	薛镭, 邹涛, 张汝云 . 多模态智慧网络标准化研究[J]. 标准科学, 2021(S1): 37-48.
	XUE L , ZOU T , ZHANG R Y . Standardization of multimodal smart network[J]. Standard Science, 2021(S1): 37-48.
[8]	李丹, 胡宇翔, 邬江兴 . 新型网络技术创新发展战略研究[J]. 中国工程科学, 2021,23(2): 15-21.
	LI D , HU Y X , WU J X . Innovative development strategy of new network technologies[J]. Strategic Study of CAE, 2021,23(2): 15-21.
[9]	国兴昌 . 多模态网络中NDN与IP共存互通机制研究与实现[D]. 北京:北京交通大学, 2021.
	GUO X C . Research and implementation of coexistence and interworking mechanism between NDN and IP in multi-modal networks[D]. Beijing:Beijing Jiaotong University, 2021.
[10]	李军飞, 胡宇翔, 伊鹏 ,等. 面向 2035 的多模态智慧网络技术发展路线图[J]. 中国工程科学, 2020,22(3): 141-147.
	LI J F , HU Y X , YI P ,et al. Development roadmap of polymorphic intelligence network technology toward 2035[J]. Strategic Study of CAE, 2020,22(3): 141-147.
[11]	SAPIO A , CANINI M , HO C Y ,et al. Scaling distributed machine learning with in-network aggregation[EB]. arXiv Print, 2019,arXiv:1903.06701.
[12]	LAO C L , LE Y , MAHAJAN K ,et al. ATP:in-network aggregation for multi-tenant learning[C]// In 18th USENIX Symposium on Networked Systems Design and Implementation (NSDI 21). USENIX Association, 2021: 741-761.
[13]	GEBARA N , GHOBADI M , COSTA P . In-network aggregation for shared machine learning clusters[J]. Proceedings of Machine Learning and Systems, 2021.

面向分布式机器学习的网络模态创新

Network modal innovation for distributed machine learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 13

相关文章 15

Metrics

推荐阅读 0

[1]	李彧, 李召召, 吕平, 刘勤让. 全维可重构的多模态网络交换芯片架构设计[J]. 电信科学, 2023, 39(6): 22-32.
[2]	李炯, 胡宇翔, 崔鹏帅, 田乐, 董永吉. 面向多模态网络环境的网络模态增量式部署机制研究[J]. 电信科学, 2023, 39(6): 33-43.
[3]	刘爱华, 骆汉光, 温建中, 占治国. 面向多模态网络的隔离转发技术研究[J]. 电信科学, 2023, 39(6): 52-60.
[4]	邹涛, 张慧峰, 高万鑫, 徐琪, 沈丛麒, 朱俊, 潘仲夏, 国兴昌. 面向智能制造的多模态网络应用技术研究[J]. 电信科学, 2023, 39(6): 61-72.
[5]	张洁, 赵永建, 肖冬瑞, 徐勇, 许建宏, 杨剑键. 基于意图的多模态网业协同架构研究[J]. 电信科学, 2023, 39(6): 73-84.
[6]	马晓亮, 刘英, 杜德泉, 安玲玲. 运营商智能客服的关键技术和发展趋势[J]. 电信科学, 2023, 39(5): 76-89.
[7]	蒋瑞红, 冯一哲, 孙耀华, 郑海娜. 面向低轨卫星网络的组网关键技术综述[J]. 电信科学, 2023, 39(2): 37-47.
[8]	徐英姿, 刘原, 时梦然, 韩书君, 董辰, 王碧舳. 语义在通信中的应用综述[J]. 电信科学, 2022, 38(Z1): 43-59.
[9]	王晴天, 刘洋, 刘海涛, 宗佳颖, 杨峰义. 面向6G的网络智能化研究[J]. 电信科学, 2022, 38(9): 151-160.
[10]	李爱华, 吴晓波, 陈超, 魏彬, 史嫄嫄. 5G网络大数据智能分析技术[J]. 电信科学, 2022, 38(8): 129-139.
[11]	邬江兴. 论网络技术体制发展范式的变革——网络之网络[J]. 电信科学, 2022, 38(6): 3-12.
[12]	黄秋萍, 刘晓峰, 高秋彬, 刘正宣, 金立强, 孙韶辉. 基于人工智能的大规模天线信道状态信息反馈研究[J]. 电信科学, 2022, 38(3): 74-83.
[13]	朱明伟. 网络智能化中的AI工程化技术方案[J]. 电信科学, 2022, 38(2): 157-165.
[14]	杨震, 赵建军, 黄勇军, 李洁, 陈楠. 基于网络演进的人工智能技术方向研究[J]. 电信科学, 2022, 38(12): 27-34.
[15]	程瑞营, 张攀, 肖雨, 乔宇杰, 张安奕. 基于时序数据的云网协同平台人工智能运维体系[J]. 电信科学, 2022, 38(11): 24-35.