基于深度强化学习的海洋移动边缘计算卸载方法

doi:10.11959/j.issn.1000-436x.2022197

通信学报 ›› 2022, Vol. 43 ›› Issue (10): 133-145.doi: 10.11959/j.issn.1000-436x.2022197

基于深度强化学习的海洋移动边缘计算卸载方法

苏新¹, 孟蕾蕾¹, 周一青²^,³, CELIMUGE Wu⁴

¹ 河海大学物联网工程学院，江苏常州 231022
² 中国科学院计算技术研究所处理器芯片全国重点实验室，北京 100190
³ 中国科学院大学计算机科学与技术学院，北京 100190
⁴ 日本电气通信大学信息理工学，东京 182-8585

修回日期:2022-09-10 出版日期:2022-10-25 发布日期:2022-10-01
作者简介:苏新（1986− ），男，河北霸州人，博士，河海大学教授，主要研究方向为移动通信、边缘/雾计算、智慧海洋等
孟蕾蕾（1996− ），女，甘肃定西人，河海大学硕士生，主要研究方向为移动通信、边缘/雾计算、智慧海洋等
周一青（1975− ），女，浙江杭州人，中国科学院计算技术研究所研究员，主要研究方向为通信与计算融合、移动边缘计算、存储通信、干扰管控等
CELIMUGE Wu（1979− ），男，博士，日本电气通信大学教授，主要研究方向为无线网络、物联网系统、边缘计算等
基金资助:
国家重点研发计划基金资助项目(2021YFE0105500)

Maritime mobile edge computing offloading method based on deep reinforcement learning

Xin SU¹, Leilei MENG¹, Yiqing ZHOU²^,³, Wu CELIMUGE⁴

¹ The College of IoT Engineering, Hohai University, Changzhou 231022, China
² State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences, Beijing 100190, China
³ School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 100190, China
⁴ Graduate School of Informatics and Engineering, The University of Electro-Communicaitons, Tokyo 182-8585, Japan

Revised:2022-09-10 Online:2022-10-25 Published:2022-10-01
Supported by:
The National Key Research and Development Program of China(2021YFE0105500)

摘要/Abstract

摘要：

摘要：海洋信息系统网络节点之间的强异构特性为海洋移动边缘计算任务卸载优化带来了复杂高维度的限制条件，同时复杂多样化的海事应用会导致海洋网络局部区域出现计算任务的超负荷处理。为实现海洋网络节点计算任务的最佳卸载与资源优化，满足网络低时延、高可靠的应用服务需求，提出基于多尺度异构特征属性的海洋网络节点分层归类方法和基于深度强化学习的海洋移动边缘计算卸载方法。仿真结果表明，所提方法较传统方法能够在海洋信息系统下有效地降低网络节点的计算任务卸载时延，并且能够在大规模任务流下保持海洋网络的稳健性。

关键词: 海洋信息系统, 边缘计算, 计算任务卸载, 功率与计算资源分配, 深度强化学习

Abstract:

The strong heterogeneity among the network nodes of the maritime information system brings complex and high-dimensional constraints for optimizing task offloading of the maritime mobile edge computing.The complex and diverse maritime applications also lead to the overload processing of computing tasks in local areas of the maritime network.In order to optimize the task offloading and resource management of maritime network, as well as meet the maritime application service requirements of low-latency and high-reliability, a hierarchical classification method of maritime nodes based on multi-layers attributes and a novel offloading method for maritime mobile edge computing based on deep reinforcement learning were proposed.Compared with conventional methods, simulation results show that the proposed method can effectively reduce the computing task offloading delay of the marine information system, and maintain the robustness of the maritime network with large-scale task flows.

Key words: maritime information system, edge computing, computing task offloading, power and computing resource allocation, deep reinforcement learning

中图分类号:

TN929.52

苏新, 孟蕾蕾, 周一青, CELIMUGE Wu. 基于深度强化学习的海洋移动边缘计算卸载方法[J]. 通信学报, 2022, 43(10): 133-145.

Xin SU, Leilei MENG, Yiqing ZHOU, Wu CELIMUGE. Maritime mobile edge computing offloading method based on deep reinforcement learning[J]. Journal on Communications, 2022, 43(10): 133-145.

图/表 13

表1

图1

图2

表2

网络环境下的计算任务卸载仿真参数"

参数	数值
系统总带宽/MHz	20
$L_{m}^{I}$ 节点处理能力/GHz	200
$L_{n}^{II}$ 节点处理能力/GHz	[10,50]
$L_{k}^{III}$ 节点处理能力/GHz	[2,3]
$L_{k}^{III}$ 节点数量/个	10
$L_{k}^{III}$ 节点输入数据的大小/MB	[10,30]
$L_{k}^{III}$ 节点完成计算内容的CPU周期数/GHz	[30,50]
上行链路最大发射功率/W	[0.05,0.1]
背景噪声功率/dBm	–70

表2

表3

图3

图4

图5

图6

图7

图8

图9

图10

参考文献 33

[1]	瞿逢重, 来杭亮, 刘建章 ,等. 海洋物联网关键技术研究与应用[J]. 电信科学, 2021,37(7): 25-33.
	QU F Z , LAI H L , LIU J Z ,et al. Research and application on key techniques of marine IoT[J]. Telecommunications Science, 2021,37(7): 25-33.
[2]	YANG T , FENG H L , YANG C M ,et al. Multivessel computation offloading in maritime mobile edge computing network[J]. IEEE Internet of Things Journal, 2019,6(3): 4063-4073.
[3]	CHEN S Y , LUO S Y , WANGQ ,et al. An intelligent task offloading algorithm (iTOA) for UAV edge computing network[J]. Digital Communications and Networks, 2021,6(4): 433-443.
[4]	LIANG M Z , SU X , LIU X F ,et al. Intelligent ocean convergence platform based on IoT empowered with edge computing[J]. Journal of Internet Technology, 2020,21(1): 235-244.
[5]	ZHOU Y Q , LIU H , PAN Z G ,et al. Two-stage cooperative multicast transmission with optimized power consumption and guaranteed coverage[J]. IEEE Journal on Selected Areas in Communications, 2014,32(2): 274-284.
[6]	SHU W N , LI Y . Joint offloading strategy based on quantum particle swarm optimization for MEC-enabled vehicular networks[J]. Digital Communications and Networks, 2022:doi.org/10.1016/j.dcan.2022.03.009.
[7]	LIU L , ZHOU Y Q , ZHUANG W H ,et al. Tractable coverage analysis for hexagonal macrocell-based heterogeneous UDNs with adaptive interference-aware CoMP[J]. IEEE Transactions on Wireless Communications, 2019,18(1): 503-517.
[8]	ANBALAGAN S , KUMAR D , RAJA G ,et al. SDN assisted Stackelberg game model for LTE-WiFi offloading in 5G networks[J]. Digital Communications and Networks, 2019,5(4): 268-275.
[9]	EL-HABER E , NGUYEN T M , ASSI C . Joint optimization of computational cost and devices energy for task offloading in multi-tier edge-clouds[J]. IEEE Transactions on Communications, 2019,67(5): 3407-3421.
[10]	NING Z L , DONG P R , KONG X J ,et al. A cooperative partial computation offloading scheme for mobile edge computing enabled Internet of things[J]. IEEE Internet of Things Journal, 2019,6(3): 4804-4814.
[11]	JIANG F , WEI F M , WANG J X ,et al. Delay-aware energy minimization offloading scheme for mobile edge computing[C]// Proceedings of 2020 IEEE/CIC International Conference on Communications in China (ICCC). Piscataway:IEEE Press, 2020: 717-722.
[12]	HU X Y , WANG L F , WONG K K ,et al. Edge and central cloud computing:a perfect pairing for high energy efficiency and low-latency[J]. IEEE Transactions on Wireless Communications, 2020,19(2): 1070-1083.
[13]	ZHANG K , MAO Y M , LENG S P ,et al. Mobile-edge computing for vehicular networks:a promising network paradigm with predictive off-loading[J]. IEEE Vehicular Technology Magazine, 2017,12(2): 36-44.
[14]	DAI Y Y , XU D , MAHARJAN S ,et al. Joint load balancing and offloading in vehicular edge computing and networks[J]. IEEE Internet of Things Journal, 2019,6(3): 4377-4387.
[15]	HUY H V , HO T M , LE L B . Mobility-aware computation offloading in MEC-based vehicular wireless networks[J]. IEEE Communications Letters, 2020,24(2): 466-469.
[16]	DU J B , YU F R , CHU X L ,et al. Computation offloading and resource allocation in vehicular networks based on dual-side cost minimization[J]. IEEE Transactions on Vehicular Technology, 2019,68(2): 1079-1092.
[17]	GU B , ZHOU Z Y . Task offloading in vehicular mobile edge computing:a matching-theoretic framework[J]. IEEE Vehicular Technology Magazine, 2019,14(3): 100-106.
[18]	MA X T , ZHAO J H , LI Q P ,et al. Reinforcement learning based task offloading and take-back in vehicle platoon networks[C]// Proceedings of 2019 IEEE International Conference on Communications Workshops. Piscataway:IEEE Press, 2019: 1-6.
[19]	XU S Y , LIU Q C , GONG B ,et al. RJCC:reinforcement-learningbased joint communicational-and-computational resource allocation mechanism for smart city IoT[J]. IEEE Internet of Things Journal, 2020,7(9): 8059-8076.
[20]	KIRAN N , PAN C Y , WANG S H ,et al. Joint resource allocation and computation offloading in mobile edge computing for SDN based wireless networks[J]. Journal of Communications and Networks, 2020,22(1): 1-11.
[21]	JIANG F B , WANG K Z , DONG L ,et al. Deep-learning-based joint resource scheduling algorithms for hybrid MEC networks[J]. IEEE Internet of Things Journal, 2020,7(7): 6252-6265.
[22]	WANG R Y , JIANG X , ZHOU Y J ,et al. Multi-agent reinforcement learning for edge information sharing in vehicular networks[J]. Digital Communications and Networks, 2022,8(3): 267-277.
[23]	LI Y , WANG T S , WU Y ,et al. Optimal dynamic spectrum allocation-assisted latency minimization for multiuser mobile edge computing[J]. Digital Communications and Networks, 2022,8(3): 247-256.
[24]	YANG T T , FENG H L , GAO S ,et al. Two-stage offloading optimization for energy-latency tradeoff with mobile edge computing in maritime Internet of things[J]. IEEE Internet of Things Journal, 2020,7(7): 5954-5963.
[25]	苏新, 薛淏阳, 周一青 ,等. 面向海洋观监测传感网的计算卸载方法研究[J]. 通信学报, 2021,42(5): 149-163.
	SU X , XUE H Y , ZHOU Y Q ,et al. Research on computing offloading method for maritime observation monitoring sensor network[J]. Journal on Communications, 2021,42(5): 149-163.
[26]	苏新, 王子怡, 王宇鹏 ,等. 海洋观监测传感器网络多接入边缘计算卸载方法[J]. 物联网学报, 2021,5(1): 36-52.
	SU X , WANG Z Y , WANG Y P ,et al. Multi-access edge computing offloading in maritime monitoring sensor networks[J]. Chinese Journal on Internet of Things, 2021,5(1): 36-52.
[27]	TRAN T X , POMPILI D . Joint task offloading and resource allocation for multi-server mobile-edge computing networks[J]. IEEE Transactions on Vehicular Technology, 2019,68(1): 856-868.
[28]	MENG A Q , WEI G D , ZHAO Y ,et al. Green resource allocation for mobile edge computing[J]. Digital Communications and Networks, 2022:doi.org/10.1016/j.dcan.2022.03.001.
[29]	LIU L , ZHOU Y Q , GARCIA V ,et al. Load aware joint CoMP clustering and inter-cell resource scheduling in heterogeneous ultra dense cellular networks[J]. IEEE Transactions on Vehicular Technology, 2018,67(3): 2741-2755.
[30]	MNIH V , KAVUKCUOGLU K , SILVER D ,et al. Human-level control through deep reinforcement learning[J]. Nature, 2015,518(7540): 529-533.
[31]	WANG H D , ZHOU J , LIU W ,et al. BGD-based Adam algorithm for time-domain equalizer in PAM-based optical interconnects[J]. Optics Letters, 2020,45(1): 141.
[32]	张鹏, 田辉, 赵鹏涛 ,等. 多智能体协作场景下基于强化学习值分解的计算卸载策略[J]. 通信学报, 2021,42(6): 1-15.
	ZHANG P , TIAN H , ZHAO P ,et al. Computation offloading strategy in multi-agent cooperation scenario based on reinforcement learning with value-decomposition[J]. Journal on Communications, 2021,42(6): 1-15.
[33]	ZHANG W W , WEN Y G , WU D O . Collaborative task execution in mobile cloud computing under a stochastic wireless channel[J]. IEEE Transactions on Wireless Communications, 2015,14(1): 81-93.

文献	应用场景	系统模型	卸载算法	是否基于人工智能	是否考虑异构性	节点是否分层	实现效率	适用规模	是否存在维数灾难
文献[8]	蜂窝网	单服务器	Stackelberg博弈	否	否	否	低	小	是
文献[9]	蜂窝网	多服务器	逐次逼近	否	是	否	低	小	是
文献[10]	蜂窝网	单服务器	启发式	否	否	否	低	小	是
文献[11]	蜂窝网	单服务器	动态规划	否	否	否	较低	小	是
文献[12]	蜂窝网	多服务器	迭代算法	否	是	否	较低	小	是
文献[13]	车联网	多服务器	预测卸载	否	是	否	低	小	是
文献[14]	车联网	多服务器	启发式	否	是	否	较低	小	是
文献[15]	车联网	多服务器	移动感知	否	是	否	低	小	是
文献[16]	车联网	多服务器	Lyapunov优化	否	是	否	较低	小	是
文献[17]	车联网	多服务器	启发式	否	否	否	较低	小	是
文献[18]	车联网	单服务器	Q-Learning	是	否	否	较高	小	是
文献[19]	蜂窝网	多服务器	Q-Learning	是	否	否	较高	小	是
文献[20]	蜂窝网	多服务器	Q-Learning，SDN	是	是	否	较高	小	是
文献[21]	混合MEC网络	多服务器	DNN	是	是	否	较高	大	否
文献[22]	车联网	多服务器	DRL	是	是	否	高	大	否
文献[23]	蜂窝网	多服务器	DRL	是	是	否	高	大	否
文献[24]	海洋网络	单服务器	启发式	否	否	否	低	小	是
文献[25]	海洋网络	多服务器	粒子群优化、遗传算法	否	是	否	低	小	是
文献[26]	海洋网络	单服务器	人工鱼群算法	否	是	否	低	小	是

参数	数值
神经元层数/层	4
学习率	0.01
神经网络训练间隔	10
经验存储器容量/个	1 000
批规模/个	128
并行DNN数量/个	4

基于深度强化学习的海洋移动边缘计算卸载方法

Maritime mobile edge computing offloading method based on deep reinforcement learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 33

相关文章 15

Metrics

推荐阅读 0

[1]	金彪, 李逸康, 姚志强, 陈瑜霖, 熊金波. GenFedRL：面向深度强化学习智能体的通用联邦强化学习框架[J]. 通信学报, 2023, 44(6): 183-197.
[2]	李元诚, 秦永泰. 基于深度强化学习的软件定义安全中台QoS实时优化算法[J]. 通信学报, 2023, 44(5): 181-192.
[3]	许国良, 谭峰, 冉泳屹, 陈丰. 面向多波束卫星系统的波束跳变与覆盖控制联合优化算法[J]. 通信学报, 2023, 44(4): 78-86.
[4]	鲁蔚锋, 李宁, 徐佳, 徐力杰, 徐建. 多接入边缘计算中相关性任务的联合调度算法[J]. 通信学报, 2023, 44(4): 87-98.
[5]	苏新, 张桂福, 行鸿彦, Zenghui Wang. 基于平衡生成对抗网络的海洋气象传感网入侵检测研究[J]. 通信学报, 2023, 44(4): 124-136.
[6]	谢人超, 文雯, 唐琴琴, 刘云龙, 谢高畅, 黄韬. 轨道交通移动边缘计算网络安全综述[J]. 通信学报, 2023, 44(4): 201-215.
[7]	余雪勇, 邱礼翔, 宋家宁, 朱洪波. 无人机辅助边缘计算中安全通信与能效优化策略[J]. 通信学报, 2023, 44(3): 45-54.
[8]	范伟, 彭诚, 朱大立, 王雨晴. 移动边缘计算网络下基于静态贝叶斯博弈的入侵响应策略研究[J]. 通信学报, 2023, 44(2): 70-81.
[9]	赵庶旭, 韦萍, 王小龙. 多任务并发边缘计算环境中最优联盟结构生成策略[J]. 通信学报, 2023, 44(2): 172-184.
[10]	龙隆, 刘子辰, 陆在旺, 张玉成, 李蕾. 移动边缘网络下服务缓存与资源分配联合优化策略[J]. 通信学报, 2023, 44(1): 64-74.
[11]	沙宗轩, 霍如, 孙闯, 汪硕, 黄韬. 基于深度强化学习的转发效能感知流量调度算法[J]. 通信学报, 2022, 43(8): 30-40.
[12]	张宇, 程旻. NDN中边缘计算与缓存的联合优化[J]. 通信学报, 2022, 43(8): 164-175.
[13]	王子园, 杜瑞忠. 边缘环境下基于无证书公钥密码的数据完整性审计方案[J]. 通信学报, 2022, 43(7): 62-72.
[14]	莫梓嘉, 高志鹏, 杨杨, 林怡静, 孙山, 赵晨. 面向车联网数据隐私保护的高效分布式模型共享策略[J]. 通信学报, 2022, 43(4): 83-94.
[15]	杨力, 潘成胜, 孔相广, 黄琦龙, 戚耀文. 5G融合卫星网络研究综述[J]. 通信学报, 2022, 43(4): 202-215.