边云协同场景下基于强化学习的精英分层任务卸载策略研究

doi:10.11959/j.issn.2096-3750.2022.00258

物联网学报 ›› 2022, Vol. 6 ›› Issue (1): 91-100.doi: 10.11959/j.issn.2096-3750.2022.00258

边云协同场景下基于强化学习的精英分层任务卸载策略研究

方娟, 叶志远, 张梦媛, 史佳眉, 滕自怡

北京工业大学信息学部，北京 100124

修回日期:2021-12-29 出版日期:2022-03-30 发布日期:2022-03-01
作者简介:方娟（1973− ），女，博士，北京工业大学信息学部教授、博士生导师，中国计算机学会会员，主要研究方向为高性能计算、边缘计算、大数据技术等
叶志远（1996− ），男，北京工业大学信息学部硕士生，主要研究方向为移动边缘计算
张梦媛（1997− ），女，北京工业大学信息学部硕士生，主要研究方向为移动边缘计算
史佳眉（1997− ），女，北京工业大学信息学部硕士生，主要研究方向为移动边缘计算
滕自怡（1997− ），女，北京工业大学信息学部博士生，主要研究方向为移动边缘计算、高性能计算
基金资助:
国家自然科学基金资助项目(61202076);北京市自然科学基金资助项目(4192007)

Research on elite hierarchical task offloading strategy based on reinforcement learning in edge-cloud collaboration scenario

Juan FANG, Zhiyuan YE, Mengyuan ZHANG, Jiamei SHI, Ziyi TENG

Faculty of Information Technology, Beijing University of Technology, Beijing 100124, China

Revised:2021-12-29 Online:2022-03-30 Published:2022-03-01
Supported by:
The National Natural Science Foundation of China(61202076);The Natural Science Foundation of Beijing(4192007)

摘要/Abstract

摘要：

随着5G的发展以及应用程序功能的丰富，应用程序对终端设备的计算能力提出了更高的要求，为了提高终端设备对应用程序的计算能力，降低任务的处理时间，针对移动边缘计算环境，提出了一种边云协同的任务卸载方式，并设计了基于强化学习的精英分层进化算法（RL-EHEA, elite hierarchical evolutionary algorithm combined with reinforcement learning）进行卸载决策，使多个具有依赖关系与截止时间的任务对计算资源竞争。结果表明，与遗传算法（GA, genetic algorithm）和精英遗传算法（EGA, elite genetic algorithm）相比，RL-EHEA能缩短任务的处理时间，得到更优的资源分配策略。

关键词: 移动边缘计算, 任务卸载, 边云协同, 进化算法, 串行任务

Abstract:

With the development of 5G and the enrichment of application functions, applications have put forward higher requirements on the computing capabilities of terminal devices.In order to improve the computing capabilities of terminal devices on applications and reduce the processing time of tasks, it is aimed at mobile edge computing environments, a task offloading method for edge-cloud collaboration was proposed，and an elite hierarchical evolutionary algorithm combined with reinforcement learning (RL-EHEA) was designed to perform offloading decisions, so that multiple tasks with dependencies and deadlines compete for computing resources.The simulation experiment results show that, compared with genetic algorithm (GA) and elite genetic algorithm (EGA), RL-EHEA can shorten task processing time and obtain better resource allocation strategy.

Key words: mobile edge computing, task offloading, edge-cloud collaboration, evolutionary algorithm, serial task

中图分类号:

TP391

方娟, 叶志远, 张梦媛, 史佳眉, 滕自怡. 边云协同场景下基于强化学习的精英分层任务卸载策略研究[J]. 物联网学报, 2022, 6(1): 91-100.

Juan FANG, Zhiyuan YE, Mengyuan ZHANG, Jiamei SHI, Ziyi TENG. Research on elite hierarchical task offloading strategy based on reinforcement learning in edge-cloud collaboration scenario[J]. Chinese Journal on Internet of Things, 2022, 6(1): 91-100.

图/表 17

图1

图2

图3

图4

图5

图6

图7

图8

图9

表1

实验参数"

实验参数	取值
终端设备运行的应用程序数量N_p	[2,6]
应用程序包含的任务数量N_T	5
终端设备的CPU频率F_U/GHz	0.5
MEC 服务器的CPU频率F_M/GHz	5
云端的CPU频率F_C/GHz	15
任务计算所需的CPU周期D_i/GHz	[0.1,0.9]
任务大小d_i/MB	[0.5,1]
任务输出数据量O_i/MB	[0.01,0.03]
终端设备与MEC服务器的传输速率 $r_{i}^{U \to M} / (MB \cdot s^{- 1})$	[3.5,5]
MEC服务器间的传输速率 $r_{i}^{M \to N} / (MB \cdot s^{- 1})$	[10,20]
MEC服务器与云端的传输速率 $r_{i}^{M \to C} / (MB \cdot s^{- 1})$	[2,3]

表1

图10

图11

图12

图13

图14

图15

图16

参考文献 16

[1]	ZHANG K , LENG S P , HE Y J ,et al. Mobile edge computing and networking for green and low-latency Internet of Things[J]. IEEE Communications Magazine, 2018,56(5): 39-45.
[2]	SABELLA D , VAILLANT A , KUURE P ,et al. Mobile-edge computing architecture:the role of MEC in the Internet of Things[J]. IEEE Consumer Electronics Magazine, 2016,5(4): 84-91.
[3]	NING Z L , XIA F , ULLAH N ,et al. Vehicular social networks:enabling smart mobility[J]. IEEE Communications Magazine, 2017,55(5): 16-55.
[4]	TALEB T , DUTTA S , KSENTINI A ,et al. Mobile edge computing potential in making cities smarter[J]. IEEE Communications Magazine, 2017,55(3): 38-43.
[5]	施巍松, 张星洲, 王一帆 ,等. 边缘计算:现状与展望[J]. 计算机研究与发展, 2019,56(1): 69-89.
	SHI W S , ZHANG X Z , WANG Y F ,et al. Edge computing:state-of-the-art and future directions[J]. Journal of Computer Research and Development, 2019,56(1): 69-89.
[6]	TANG L J , TANG B , KANG L Y ,et al. A novel task caching and migration strategy in multi-access edge computing based on the genetic algorithm[J]. Future Internet, 2019,11(8): 181.
[7]	LI Z , ZHU Q . Genetic algorithm-based optimization of offloading and resource allocation in mobile-edge computing[J]. Information, 2020,11(2): 83.
[8]	赵海涛, 张唐伟, 陈跃 ,等. 基于DQN的车载边缘网络任务分发卸载算法[J]. 通信学报, 2020,41(10): 172-178.
	ZHAO H T , ZHANG T W , CHEN Y ,et al. Task distribution offloading algorithm of vehicle edge network based on DQN[J]. Journal on Communications, 2020,41(10): 172-178.
[9]	WANG Y , TAO X F , ZHANG X F ,et al. Cooperative task offloading in three-tier mobile computing networks:an ADMM framework[J]. IEEE Transactions on Vehicular Technology, 2019,68(3): 2763-2776.
[10]	葛志诚, 徐恪, 陈靓 ,等. 一种移动内容分发网络的分层协同缓存机制[J]. 计算机学报, 2018,41(12): 2769-2786.
	GE Z C , XU K , CHEN L ,et al. A hierarchical cooperative caching strategy for mobile content delivery network[J]. Chinese Journal of Computers, 2018,41(12): 2769-2786.
[11]	XIAO Y , KRUNZ M . QoE and power efficiency tradeoff for fog computing networks with fog node cooperation[C]// Proceedings of IEEE INFOCOM 2017 - IEEE Conference on Computer Communications. Piscataway:IEEE Press, 2017: 1-9.
[12]	NGUYEN P D , HA V N , LE L B . Computation offloading and resource allocation for backhaul limited cooperative MEC systems[C]// Proceedings of 2019 IEEE 90th Vehicular Technology Conference (VTC2019-Fall). Piscataway:IEEE Press, 2019: 1-6.
[13]	梁冰, 纪雯 . 基于次模优化的边云协同多用户计算任务迁移方法[J]. 通信学报, 2020,41(10): 25-36.
	LIANG B , JI W . Multiuser computation offloading for edge-cloud collaboration using submodular optimization[J]. Journal on Communications, 2020,41(10): 25-36.
[14]	NING Z L , DONG P R , KONG X J ,et al. A cooperative partial computation offloading scheme for mobile edge computing enabled Internet of Things[J]. IEEE Internet of Things Journal, 2019,6(3): 4804-4814.
[15]	REN J K , YU G D , HE Y H ,et al. Collaborative cloud and edge computing for latency minimization[J]. IEEE Transactions on Vehicular Technology, 2019,68(5): 5031-5044.
[16]	LI Y , ZHAO Y L , SHAO J . Empirical study on CNG refilling behaviors of different timescale based on boxplot method[J]. IOP Conference Series:Earth and Environmental Science, 2018,186: 012021.

边云协同场景下基于强化学习的精英分层任务卸载策略研究

Research on elite hierarchical task offloading strategy based on reinforcement learning in edge-cloud collaboration scenario

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 16

相关文章 15

Metrics

推荐阅读 0

[1]	刘耀, 何岳园, 周红静, 李超良, 李闯. 移动边缘计算中基于资源联合分配的部分计算卸载方法[J]. 物联网学报, 2023, 7(1): 140-148.
[2]	苏麟, 党小超, 郝占军, 汝春瑞, 尚旭. 基于WPT-MEC的动态自适应卸载方法[J]. 物联网学报, 2022, 6(4): 128-138.
[3]	李贤, 毕宿志, 曾泓儒, 林彬, 林晓辉. 基于智能化用户协作的边缘计算任务卸载与资源分配优化[J]. 物联网学报, 2022, 6(4): 41-52.
[4]	苏新, 江苏, 周一青. 面向海洋观监测传感网的移动终端位置隐私保护研究[J]. 物联网学报, 2021, 5(4): 26-36.
[5]	路静, 李晗琳, 高林. 移动边缘计算任务切分与最优卸载算法设计[J]. 物联网学报, 2021, 5(2): 78-86.
[6]	张厚浩, 李晗琳, 高林. 移动边缘计算中的分层资源部署与共享策略[J]. 物联网学报, 2021, 5(1): 11-18.
[7]	嵇介曲, 朱琨, 易畅言, 王然. 多无人机辅助移动边缘计算中的任务卸载和轨迹优化[J]. 物联网学报, 2021, 5(1): 27-35.
[8]	韩青, 高昆仑, 赵婷, 陈江琦, 杨新宇, 杨树森. 边云协同智能技术在电力领域的应用[J]. 物联网学报, 2021, 5(1): 62-71.
[9]	周鹏,徐金城,杨博. 工业物联网中基于边缘计算的跨域计算资源分配与任务卸载[J]. 物联网学报, 2020, 4(2): 96-104.
[10]	王鹏飞,邸博雅,宋令阳,韩竹. 6G异构边缘计算[J]. 物联网学报, 2020, 4(1): 121-130.
[11]	蔡晓然,莫小鹏,许杰. 面向联合学习的D2D计算任务卸载[J]. 物联网学报, 2019, 3(4): 82-90.
[12]	宋富洪,邢焕来,潘炜. 一种面向移动云计算的多目标任务卸载算法[J]. 物联网学报, 2019, 3(3): 41-49.
[13]	曾启程,孙宇璇,周盛. 车辆间计算任务卸载算法与系统级仿真验证[J]. 物联网学报, 2019, 3(3): 62-69.
[14]	乔冠华,冷甦鹏,刘浩,黄开胜,吴凡. 面向车辆多址接入边缘计算网络的任务协同计算迁移策略[J]. 物联网学报, 2019, 3(1): 51-59.
[15]	王璐瑶,张文倩,张光林. 多用户移动边缘计算迁移的能量管理研究[J]. 物联网学报, 2019, 3(1): 73-81.