大数据 ›› 2020, Vol. 6 ›› Issue (4): 56-68.doi: 10.11959/j.issn.2096-0271.2020033

• 专题:大数据异构并行系统 • 上一篇    

深度学习中的内存管理问题研究综述

马玮良1,2,彭轩1,2,熊倩1,2,石宣化1,2,金海1,2   

  1. 1 华中科技大学计算机科学与技术学院,湖北 武汉 430074
    2 华中科技大学大数据技术与系统国家地方联合工程研究中心,服务计算技术与系统教育部重点实验室,湖北武汉 430074
  • 出版日期:2020-07-15 发布日期:2020-07-18
  • 作者简介:马玮良(1996- ),男,华中科技大学计算机科学与技术学院硕士生,主要研究方向为新体系结构下深度学习系统的优化|彭轩(1995- ),男,华中科技大学计算机科学与技术学院博士生,主要研究方向为分布式深度学习系统平台|熊倩(1997- ),女,华中科技大学计算机科学与技术学院硕士生,主要研究方向为联邦学习|石宣化(1978- ),男,博士,华中科技大学计算机科学与技术学院教授,大数据技术与系统国家地方联合工程研究中心副主任,主要研究方向为并行与分布式计算、多核体系结构与系统软件。当前主要研究云计算与大数据处理、异构并行计算等|金海(1966- ),男,博士,华中科技大学教授,长江学者特聘教授,中国计算机学会会士,IEEE Fellow, ACM终身会员,武汉网络安全战略与发展研究院院长,华中科技大学大数据技术与系统国家地方联合工程研究中心主任,服务计算技术与系统教育部重点实验室主任。主要研究方向为计算机体系结构、计算系统虚拟化、集群计算和云计算、网络安全、对等计算、网络存储与并行I/O等
  • 基金资助:
    国家自然科学基金资助项目(61772218)

Memory management in deep learning:a survey

Weiliang MA1,2,Xuan PENG1,2,Qian XIONG1,2,Xuanhua SHI1,2,Hai JIN1,2   

  1. 1 School of Computer Science and Technology,Huazhong University of Science and Technology,Wuhan 430074,China
    2 National Engineering Research Center for Big Data Technology and System,Services Computing Technology and System Lab,Huazhong University of Science and Technology,Wuhan 430074,China
  • Online:2020-07-15 Published:2020-07-18
  • Supported by:
    The National Natural Science Foundation of China(61772218)

摘要:

近年来,深度学习已经在多个领域取得了巨大的成功。深度神经网络向着更深更广的方向发展,训练和部署深度神经网络模型都将面对巨大的内存压力。加速设备有限的内存空间已经成为限制神经网络模型快速发展的重要因素,如何在深度学习中实现高效的内存管理成为深度学习发展的关键问题。为此,介绍了深度神经网络的基本特征;分析了深度学习训练过程中的内存瓶颈;对一些代表性的研究工作进行了分类阐述,并对其优缺点进行了分析;对深度学习中内存管理技术的未来发展趋势进行了探索。

关键词: 内存管理, 深度学习, 内存交换, 重计算, 内存共享, 压缩

Abstract:

In recent years,deep learning has achieved great success in many fields.As the deep neural network develops towards a deeper and wider direction,the training and inference of a deep neural network face huge memory pressure.The limited memory space of accelerating devices has become an important factor restricting the rapid development of deep neural network.How to achieve efficient memory management in deep learning has become a key point in the development of deep learning.Therefore,the basic characteristics of deep neural network were introduced firstly and memory bottleneck in deep learning training was analyzed.Some representative research works were classified,and their advantages and disadvantages were analyzed.Finally,some important direction and tendency of memory management in deep learning were suggested.

Key words: memory management, deep learning, memory swapping, recomputation, memory sharing, compression

中图分类号: 

No Suggested Reading articles found!