物联网学报, 2019, 3(1): 51-59 doi: 10.11959/j.issn.2096-3750.2019.00089

理论与技术

面向车辆多址接入边缘计算网络的任务协同计算迁移策略

乔冠华1, 冷甦鹏1, 刘浩2, 黄开胜3, 吴凡1

1 电子科技大学信息与通信工程学院,四川 成都 611731

2 北京市交通信息中心,北京 100073

3 清华大学汽车安全与节能国家重点实验室,北京 100084

Task collaborative offloading scheme in vehicle multi-access edge computing network

QIAO Guanhua1, LENG Supeng1, LIU Hao2, HUANG Kaisheng3, WU Fan1

1 College of Information and Communication Engineering,University of Electronic Science and Technology of China,Chengdu 611731,China

2 Beijing Traffic Information Center,Beijing 100073,China

3 State Key Laboratory of Automobile Safety and Energy Conservation,Tsinghua University,Beijing 100084,China

通讯作者:

修回日期: 2019-02-10   网络出版日期: 2019-03-30

基金资助: 国家自然科学基金资助项目.  61374189
中央高校基本科研业务费资助项目.  ZYGX2016J001
教育部—中国移动联合基金资助项目.  MCM20160304

Revised: 2019-02-10   Online: 2019-03-30

Fund supported: The National Natural Science Foundation of China.  61374189
The Fundamental Research Funds for the Central Universities.  ZYGX2016J001
The Ministry of Education-China Mobile Joint Funding Project.  MCM20160304

作者简介 About authors

乔冠华(1987-),男,山西长治人,电子科技大学博士生,主要研究方向为下一代无线网络资源分配、移动边缘计算和存储技术 。

冷甦鹏(1973-),男,四川资中人,电子科技大学教授、博士生导师,主要研究方向为物联网、车联网、新一代宽带无线网络、无线自组织网、智能交通信息系统的资源管理、介质访问控制、路由、组网与互联、智能算法理论及技术应用等 。

刘浩(1977-),男,四川资中人,博士,北京市交通信息中心副主任,主要研究方向为智能交通技术、交通建模和交通仿真等 。

黄开胜(1970-),男,广东丰顺人,博士,清华大学副研究员、博士生导师,主要研究方向为动力系统及智能网联车辆控制技术 。

吴凡(1978-),男,四川成都人,博士,电子科技大学通信与信息工程学院副教授,主要研究方向为下一代无线网络资源分配、车联网网络技术和数能同传技术 。

摘要

为了解决传统移动边缘计算网络无法很好地支持车辆的高速移动性和动态网络拓扑,设计了车辆多址接入边缘计算网络,实现路边单元和智能车辆的协同计算迁移。在该网络架构下,提出了多址接入模式选择和任务分配的联合优化问题,旨在最大化系统的长期收益,同时满足多样化的车联网应用需求,兼顾系统的能量消耗。针对该复杂的联合优化问题,设计了基于深度增强学习的多址接入协同计算迁移策略,该策略能够很好地克服传统Q-learning算法因网络规模增加带来的维度灾难挑战。仿真结果验证了所提算法具有良好的计算性能。

关键词: 移动边缘计算 ; 多址接入技术 ; 车联网 ; 计算迁移 ; 深度增强学习

Abstract

In order to solve the problem that traditional mobile edge computing network can’t be straightforwardly applied to the Internet of vehicles (IoV) due to high speed mobility and dynamic network topology,a vehicular edge multi-access computing network (VE-MACN) was introduced to realize collaborative computing offloading between roadside units and smart vehicles.In this context,the collaborative computation offloading was formulated as a joint multi-access model selection and task assignment problem to realize the good balance between long-term system utility,diverse needs of IoV applications and energy consumption.Considering the complex joint optimization problem,a deep reinforcement learning-based collaborative computing offloading scheme was designed to overcome the curse of dimensionality for Q-learning algorithm.The simulation results demonstrate that the feasibility and effectiveness of proposed offloading scheme.

Keywords: mobile edge computing ; multi-access technology ; Internet of vehicles (IoV) ; computation offloading ; deep reinforcement learning

PDF (3609KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

乔冠华, 冷甦鹏, 刘浩, 黄开胜, 吴凡. 面向车辆多址接入边缘计算网络的任务协同计算迁移策略. 物联网学报[J], 2019, 3(1): 51-59 doi:10.11959/j.issn.2096-3750.2019.00089

QIAO Guanhua. Task collaborative offloading scheme in vehicle multi-access edge computing network. Chinese Journal on Internet of Things[J], 2019, 3(1): 51-59 doi:10.11959/j.issn.2096-3750.2019.00089

1 引言

随着移动通信和传感器技术的快速发展,物联网应用已经渗透到智慧城市、虚拟/增强现实以及健康医疗等各个方面[1]。其中,车联网(IoV,Internet of vehicles)已经成为实现智能交通的关键技术之一。行驶中的车辆每秒产生海量的传感器数据,为了拥有复杂驾驶环境下的智能视野,需要在较短时间内完成大量的数据传输、存储和处理操作,感知实时的交通状况、目标特征以及人流密度等以实现平稳的驾驶模式和体验。目前,车辆本地计算、IoV与远端云计算平台的结合是实现数据处理分析的主要计算模式。然而,车辆有限的计算能力以及车辆与云计算平台不稳定的回程链路将显著增加业务的服务时延,无法满足对时延敏感的车联网应用需求。

近年来,移动边缘计算(MEC,mobile edge computing)技术作为一种新的范式将计算资源迁移到靠近移动设备的接入网络边缘,试图将云服务提供商、移动运营商与异构物联网终端进行深度融合,从而减少端到端的业务服务时延,缓解回程链路的流量压力,满足多样化的应用需求[2,3,4,5]。不同于传统支持低速移动设备的 MEC 网络架构,车辆的高速移动性、时变的网络拓扑结构和信息的短暂交互等车联网固有特性给任务的迁移过程带来了前所未有的挑战[6]。此外,在多址接入技术并存的网络环境中,接入模式选择和任务分配的相互影响使得计算迁移变得更复杂。为了满足不同车联网的应用需求,需要设计一种高效的接入模式选择和任务分配的联合优化策略来实现通信和计算资源的优化配置。

本文提出了车辆边缘多址接入计算网络(VE-MACN,vehicular edge multi-access computing network)架构。它与传统MEC网络架构的不同之处主要为:首先,多址接入技术已经应用到现有的网络中,成为支撑车联网应用的关键技术之一。将多址接入技术扩展到多运营商和移动车辆,实现车辆到路边单元(V2R,vehicle-to-RSU)、车辆与车辆(V2V,vehicle-to-vehicle)之间的深度融合,以实现数据流并行传输。其次,由于车辆的高速移动特性,密集型任务可能无法在当前边缘节点的覆盖范围内完成实时处理。在VE-MACN场景中,通过基础设施的协同和提供对接入设备相关信息的实时感知,能够在精细粒度上实现业务态势和车辆位置感知。基于精确的车辆移动轨迹预测,通过任务分配策略以确保计算过程的连续性并满足多样化的业务需求。

为了实现多址接入协同下的计算迁移目标,本文首先对VE-MACN环境下的协同计算迁移过程进行建模,包括通信模型、计算模型和车辆移动模型。在此基础上,提出了多址接入模式选择和任务分配的联合优化问题,旨在最大化系统的长期收益,同时兼顾业务处理时延和系统能量消耗。为了解决这一复杂的优化问题,本文将原始问题建模为马尔可夫决策过程(MDP,Markov decision process),提出基于深度增强学习(DRL,deep reinforcement learning)的多址接入协同计算迁移策略。通过与无车辆协同的计算迁移策略对比,仿真结果证明了所提算法的有效性。

2 相关工作

近年来,基于多址接入的 MEC 网络得到了学术界和工业界的广泛关注,文献[7]提出了面向 5G异构网络的 MEC 架构,移动设备可以在本地终端完成部分任务处理,同时将剩余任务迁移到宏基站(BS,base station)或者微蜂窝进行实时处理。通过对通信和计算资源的协同优化,实现时延约束下的能量消耗最小化。在车辆高速移动的车联网环境中,文献[8]设计了一种时延预测的组合模式迁移机制以实现车辆与 MEC 服务器的关联优化,即系统根据网络状态将计算任务迁移到相关联的 MEC 服务器或者通过 V2V 模式迁移到即将行驶通过的MEC服务器。考虑到道路上行驶和停放着大量资源闲置的车辆,文献[9]提出了将车辆作为边缘节点的思路,并利用车辆闲置资源提高计算性能指标。文献[10]提出了一种车辆多址接入计算架构和通信协议,将授权的Sub-6 GHz频段、IEEE 802.11p和毫米波通信用于车载网络中的内容分发和实时传输。文献[11]引入了无线和光纤融合的异构网络,能够很好地支持云计算平台和多址接入边缘网络共存,进而提升资源利用率。

人工智能(AI,artificial intelligence)已被工业界和学术界视为未来具有颠覆性的技术之一。随着机器学习算法的不断演进,AI技术通过结合深度神经网络和强化学习构建了一种先进的 DRL 框架,用于解决复杂的控制系统[12]。随着业务与用户之间的距离不断缩小,学术界和工业界开始探索结合边缘计算和 AI 技术以赋能车联网应用。目前,DRL主要用于优化车辆的移动路径、缓解道路的交通拥塞以及提升用户的出行体验[13]。文献[14]提出了融合计算迁移和内容存储的车联网架构以实现异构资源的动态管理,并设计了基于 DRL 的资源联合优化策略,旨在最大化系统收益。

在多种接入技术共存的车联网场景中,目前缺少通过多址接入技术融合来实现任务的并行传输和计算的研究,为了填补这一空白,本文研究了接入模式选择和任务分配的协同计算迁移问题,通过多址接入技术的深度融合,实现任务在不同接入技术上的动态分流和并行计算,提升用户的计算体验。

3 协同计算迁移系统模型

基于车辆多址接入技术的协同计算迁移网络如图1所示,通过多址接入技术可以实现云计算平台、路边单元(RSU,roadside unit)和智能车辆之间的深度融合和协同计算迁移。其中,对于时延容忍度较高的车辆可以将全部或者部分任务通过 BS迁移到资源丰富的云计算平台进行处理,在最大容忍时延的约束下,将计算结果返回至目标车辆;对于安全级别较高的任务或对时延敏感的车辆,通过将计算任务迁移至 RSU 从而降低业务的处理时延。此外,为了充分利用车辆的闲置资源,本文基于车辆的移动轨迹引入移动车辆雾实现机会式的 V2V 通信和分布式计算迁移。例如在交通区域1内,密集型业务的车辆V1可以通过V2R和V2V接入技术将部分任务同时迁移至边缘节点 RSU1 和车辆 V2,从而实现任务并行传输和处理。综上所述,在复杂的交通环境和边缘计算网络中,接入模式的选择和任务分配策略决定了VE-MACN系统计算性能的有效性。

3.1 VE-MACN系统模型

有限阶段下的计算迁移决策时刻与决策周期如图2所示,将连续的时间尺度时隙化为等间隔的离散时间尺度,其时间间隔为(tΔt,(t+1)Δt],其中, t=0,1,,T和Δt分别为计算迁移决策时刻和等间隔的计算迁移决策周期,在每个时隙的开始时刻执行接入模式选择和任务分配策略。为了不失一般性,可以通过动态调整决策时刻和决策周期以满足不同应用场景和计算性能的要求。在本文提出的VE-MACN架构中,用集合 C={0,1,,K,,M}统一表示边缘节点索引集,其中,j=0为BS索引, j=1,,K为RSU索引,j=K+1,,M表示在第t个计算迁移周期内可提供计算资源的车辆索引。另外,用集合D={1,,N} 表示在第t个计算迁移周期内有任务卸载需求的车辆索引集。

图2

图2   有限阶段下的计算迁移决策时刻与决策周期


3.1.1 信道和通信模型

在VE-MACN环境下,超密集部署的RSU和大量资源空闲的车辆参与协同的计算迁移场景中,任务传输过程会引发小区间干扰。本文不仅考虑了基于距离的路径损耗,也考虑了与无线信道冲激响应相关的小尺度衰落。在第t个计算迁移周期内,车辆i与边缘节点 j的信道增益如式(1)所示。

图1

图1   基于车辆多址接入技术的协同计算迁移网络


gij(t)=hij(t)ϑij(dij(t)),iD,jC     (1)

其中,hij(t) 为车辆i与边缘节点 j建立通信链路时的小尺度衰落。此外,本文采用经典的基于对数—距离模型(log-distance)模拟车辆i与边缘节点 j之间的路径损失ϑij(dij(t)) ,如式(2)所示。

ϑij(dij(t))=PL0+10υlog10(dij(t)/d0)     (2)

其中,PL0为近地参考距离d 0的参考路径损耗[15,16],υ为路径损失指数。假设BS和RSU覆盖区域内采用正交频分多址接入(OFDMA,orthogonal frequency division multiple access)技术以避免本小区内车辆之间的干扰。因此,有计算需求的车辆i和边缘节点 j之间的信干噪比(SINR,signal to interference plus noise ratio)如式(3)所示。

SINRij(t)=pijgij(t)n=1,niNpngnj(t)+σ2     (3)

其中,pij和gij(t)分别为车辆i和边缘节点 j之间的上行传输功率和信道功率增益,pn和gnj(t)分别为车辆n和边缘节点 j之间的发送功率和信道功率增益,σ2为高斯白噪声功率。当车辆i与边缘节点 j关联时,数据传输速率为

rij(t)=log2(1+SINRij(t)),iD,jC     (4)

3.1.2 任务属性和计算模型

针对多样化的车联网应用场景,定义业务类型的索引集合为 F={1,,W} ,用向量 fiw=[fiw1,fiw2,fiw3]表示车辆i∈D当前持有任务类型w的属性集合。其中,fiw1为业务类型w的优先级,优先级越高的任务对提升出行安全和乘客体验越重要,因此该类型的业务需要实时响应;fiw2为车辆i所持有任务类型w的大小;fiw3为车辆i所期望的任务处理时延。数据处理时间主要取决于当前数据大小和可用的计算资源[17],即计算节点的 CPU 频率。假设处理单位比特数据量需要的计算周期为固定值Uc,那么在每一个计算周期下,计算节点可以利用动态调频(DVFS,dynamic voltage and frequency scaling)技术在当前计算迁移周期内进行计算资源动态分配。假设在第t个计算迁移周期内,计算节点 j分配给车辆i的计算资源为φij(t)Hj ,Hj为边缘节点j当前可用的计算资源,ϕij(t)为计算资源的分配比例系数,则处理单位比特数据量需要的时间为Uc/φij(t)Hj

3.1.3 车辆移动模型

为了有效模拟车辆随时间变化的移动轨迹,本文采用交通区域离散化代替连续的移动位置。如图1所示,假设一个典型的城市道路网可以划分成L个离散的交通区域,用集合J={1,,L}表示交通区域的索引集。在计算迁移过程中,车辆只能行驶在当前交通区域或者驶向相邻交通区域。因此,任意两个相邻的计算迁移周期内,车辆移动轨迹和车辆位置状态转移概率可以表示为

p(l'|l)={η0ηq,q={1,2,3,4}     (5)

其中,l和l'分别表示车辆在第t个计算迁移周期和下一个时隙t+1内所处的交通区域,η0为车辆在相邻的时间间隔位于相同区域的概率,ηq为车辆行驶到相邻交通区域的转移概率,VE-MACN系统可以根据当前的路网信息和交通规则对ηq进行合理设置,q={1,2,3,4}分别表示车辆行驶的方向为东、西、南、北,所有状态转移的概率需要满足η0+qηq=1

3.2 问题描述

针对不同的接入模式,本文采用多址技术融合实现任务的并行传输。如果有任务卸载需求的车辆在当前 RSU 覆盖的交通区域内,并且有多辆计算资源闲置的车辆加入VE-MACN中,那么该车辆可以同时建立一对V2R和V2V的通信模式。为了统一符号,采用向量 αi(t)=[αiloc(t),αir(t),αiv(t)]表示车辆i与RSU、其他车辆的关联指示向量,其中αiloc(t)=1αir(t)={0,1}表示在第t个计算迁移周期内车辆 i 与 RSU r 的关联指示值,其中r{0,1,,K} 。采用 αiv(t)={0,1}表示车辆i与车辆v的关联指示值,其中v{K+1,,M} 。采用βi(t)=[βiloc(t),βir(t),βiv(t)] 表示车辆i的任务分配向量,0βiloc(t)1 为车辆将部分任务分配给自身的比例系数,0βir(t)10βiv(t)1 分别表示车辆i与相应边缘节点关联时的任务分配比例系数。本文通过最大化系统长期收益设计接入模式选择和任务分配策略,为了验证VE-MACN计算迁移系统的可行性,定义系统效用和运行开销函数如下。

3.2.1 信息分享效用函数

信息分享效用是指车辆将部分或者全部信息与其他边缘节点进行分享而产生的系统收益。通过设置该激励函数,可以使得提供计算资源的边缘节点获取全部或者部分用户信息,实现重要信息和流行文件的快速转发。为了不失一般性,信息效用函数可以看作关于信息优先级和所分享数据大小的线性函数。如果车辆i与边缘节点 j关联,信息分享效用函数可定义为

Gij(αi(t),β(t)i)=fiw1bi(t)αi(t),β(t)i,

jC,j=rj=v     (6)

其中,αi(t),β(t)i 为向量αi(t)βi(t)的内积,bi(t)为车辆i在第t个计算迁移周期剩余的任务量。

3.2.2 任务服务时延增益

本文提出的协同计算迁移系统在每个计算迁移周期内,根据不同的应用需求,任务的服务时延ditol(t)由最后完成所分配计算任务的边缘节点决定,如式(7)所示。

ditol(t)=max(diloc(t),dirtra(t)+dircom(t),divtra(t)+divcom(t))   (7)

其中,dirtra(t)divtra(t) 为任务卸载过程的传输时延,如果系统为车联网应用划分的频谱带宽为ϖ,当车辆i与边缘节点j关联时,数据的传输速率如式(8)所示。

dijtra(t)=βij(t)bi(t)μij(t)ϖjrij(t),jC,j=rj=v   (8)

其中,μij(t)为带宽分配的比例系数,当车辆i通过 BS 将计算任务传输至云计算平台时,本文假设回程链路采用光纤传输并提供恒定的数据传输速率。

diloc(t)dijcom(t) 分别为车辆i处理部分任务的时延和边缘节点 j处理任务的时延,计算时延dijcom(t)可以表示为

dijcom(t)=βij(t)bi(t)Ucφij(t)Hj,jC,j=rj=v     (9)

本文利用处理任务所节省的时间表示系统在满足车联网应用时延需求上的增益,可以表示为

Dij(t)={fiw3t=0Tditol(t),fiw3t=0Tditol(t)ζ(fiw3t=0Tditol(t)),     (10)

其中,ζ 0> 为当不满足车辆的期望时延时,给予迁移系统的惩罚权重值。

3.2.3 系统的运行开销

协同的计算迁移过程包括数据处理和数据传输两个过程,系统的运行开销主要由边缘节点在通信和计算过程中产生的能量消耗组成。计算过程产生的能量消耗为关于计算资源的二次函数[18,19],表示如下

eiloc(t)+eijcom(t)=

ςbi(t)Uc(βiloc(t)Hi2+βij(t)(φij(t)Hj)2),

jC,j=rj=v     (11)

其中,ς为取决于设备芯片结构的有效电容系数, eiloc(t)为车辆i本地任务的计算能量消耗,eijcom(t)为边缘节点处理任务的能量消耗,任务传输至边缘节点 j的能量消耗为 eijtra(t)=pijdijtra(t) 。综上所述,单个计算周期的系统运行开销为

Eij(t)=eiloc(t)+eircom(t)+

eirtra(t)+eivcom(t)+eivtra(t)     (12)

为了不失一般性,单个计算迁移时隙的系统收益可以表示为以上效用函数的线性相加。

Rij(t)=κ1Gij(t)+κ2Dij(t)-κ3Eij(t)     (13)

其中,κ1,κ2,κ3为系统效用和开销的权重因子, κ1+κ2+κ3=1。因此,协同计算迁移的长期系统效用优化问题可表示为

P1maxαij(t)βij(t)t=0Ti=1Nj=0MRij(t)

s.t.C1:αij(t)={0,1},iD,jC,j=rj=v

C2:iDαij(t)1,jC,j=rj=v

C3:r=0Kβir+v=K+1Mβiv+βiloc=1,iD

C4:t=0Tditol(t)fiw3,iD,wF     (14)

在上述约束条件中,C1为车辆与边缘节点的关联约束, αij(t)=1表示车辆i与边缘节点 j的关联,否则在当前计算周期内没有建立通信连接;C2为车辆i至多可以同时关联一对边缘节点r和车辆v;C3为任务分配的比例约束;C4为完成业务量 fiw3的总处理时延,不能大于车辆i的期望时延。

以上定义的优化问题含有整数变量αij(t),属于混合整数线性规划问题,很难直接求得最优解。下文将采用 DRL 算法在不改变可行域的情况下获得原问题的次优解。

4 基于DRL的多址接入协同计算迁移策略

在优化问题P1中,计算任务的到达过程和处理过程可以用队列模型进行分析,系统的计算迁移策略不仅需要感知当前计算节点的资源状态,还需要预测车辆的移动轨迹。因此,上述优化问题可以采用MDP进行分析。上述优化问题中组成MDP的元素如下。

1) 系统决策时刻,采用有限阶段的 MDP,决策时刻为每个计算迁移周期的决策时刻点。

2) 系统状态,第t个计算迁移周期的系统状态由si(t)=(bi(t),li(t))组成,bi(t)、li(t)分别为车辆i在当前时隙的任务大小和所处的交通区域。

3) 系统行动,当系统处于状态s(t)下的行动集合为ai(t)=(αi(t),βi(t)),其中,αi(t)为车辆i的关联行动向量,βi(t)为车辆i的任务分配向量。

4) 系统即得回报,系统处于s(t)状态并采用行动a(t)的即得回报函数为式(13)所示的系统效用函数。

5) 系统状态转移,由于系统状态服从马尔可夫属性和状态之间的相互独立性,因此,系统的状态转移方程可以表示为 p(s'|s,a)=p(b'|b,a)(l'|l)

基于上述分析,当计算节点处于状态s并采用计算迁移行动a的带折扣因子γ时,系统期望收益可以表示为

V(s)=1TE[t=0TγtR(s(t),a(t))|s(0)=s]    (15)

最优值函数可以表示为

V(s)=maxaA{R(s,a)+γs'SP(s'|s,a)V(s')}   (16)

式(16)为贝尔曼方程,通过求解该方程可以得到最优的计算迁移策略,表示如下

π(s)=argmaxaAV(s)     (17)

本文采用DRL求解贝尔曼方程。在增强学习中,智能体需要通过与外界网络环境进行实时交互、不断试错和迭代达到长期收益函数的最优化。在诸多增强学习策略中,Q-learning 算法通过学习近似值函数V(s) 的动作—值函数Q(s,a),使系统性能达到最优或近似最优,Q(s,a)定义如式(18)所示。

Q(s,a)=R(s,a)+γmaxa'AV(s)     (18)

其中,γ为折扣因子,Q(s,a)更新过程定义为

Q(s,a)(1η)Q(s,a)+

η(R(s,a)+γmaxaAQ(s,a))     (19)

其中,η(0≤η≤1)为学习率。

Q-learning 算法需要离散化系统状态和行为,通过初始化状态—动作的二维表格存储和更新Q(s,a)值,以逼近值函数 V(s)。在本文所研究的超密集部署的边缘节点场景中,随着网络规模、车辆数以及系统状态维度的增加,Q-learning 算法容易陷入维度灾难而无法快速学习有效的计算迁移策略。结合深度神经网络与Q-learning的DQN(deep Q-network)计算模式可以有效应对以上挑战。DQN架构如图3所示,主要组成部分包括主网络、目标网络和记忆槽。主网络主要通过深度神经网络获得近似的动作—值函数的预测值Qθ(s,a)Q(s,a);目标网络则是通过深度神经网络获得真实的Qθ(s,a);记忆槽通过存放历史经验数据[s,a,R,s']训练神经网络以实现参数值更新。

图3


DQN 的核心思想是利用主网络学习带参数θ的动作—值函数预测值Qθ(s,a),如式(20)所示。

Qθ(s,a)=θTΦ(s,a)=

x=1X(lay)y=1X(lay+1)(θxyϕmx(s,a)+θ0y)   (20)

其中,θ 为深度神经网络的参数矩阵, [θ01,,θ0X(lay+1)] 为偏置参数,[θx1,,θxX(lay+1)] 为权值参数,X(lay)为第lay个神经网络层的隐藏单元个数,m为样本的索引,Φ(s,a)矩阵为神经网络的激活函数矩阵。为了更新网络参数θ,定义 TD (temporal difference)误差为

δTD=Qθ(s,a)+

η(R(s,a)+γQθ(s,a)Qθ(s,a))     (21)

Qθ(s,a) 为目标网络在状态s下执行动作a′的真实值。通过从记忆槽中随机选择预定义的样本数Y并采用随机梯度下降策略更新主网络参数,更新规则如式(22)所示。

θθξθm=1Yδm,TDθQm,θ(s,a)     (22)

其中,ξθ为随机梯度下降的步长。图3中的目标网络用于评估计算迁移网络的真实性能,即输出真实的Qθ(s,a) )值。本文采用目标网络与主网络结构一致的深度神经网络架构,在某种程度上可以认为目标网络为主网络的复制网络,即每间隔预先设定的试验次数将主网络参数复制给目标网络,从而更新θ

基于 DRL 的多址接入任务协同的计算迁移策略如算法1所示。本文提出的协同迁移算法的复杂度主要取决于深度神经网络的层数、隐藏单元数目、样本抽样值以及学习率等网络参数。

算法1 基于DRL的多址接入任务协同的计算迁移策略

1) 初始化主网络和目标网络参数以及记忆槽大小

2) 重复执行协同计算迁移迭代过程

3) 初始化联合系统状态s(t)

4) for t=1,T do

5) 执行ε-贪婪算法选择联合迁移策略a(t)

6) 观察系统即得回报R(t)和新的系统状态s(t)

7) 将[s,a,R,s']存储到记忆槽O中

8) 根据式(22)更新主网络参数θ

9) 每隔一定试验次数更新目标网络参数θ

10) end for

11) 完成最大的试验次数

5 性能分析

本节通过 Python 脚本语言构建 VE-MACN 计算迁移系统的仿真环境,并利用TensorFlow深度学习框架来验证所提多址接入任务协同计算迁移策略的性能。为了模拟交通路网环境,将城市部分区域中的路网划分为16个正方形交通区域,将BS设置在路网中心以覆盖所有交通区域,将12个RSU分别部署在交通流量较高的交通区域内。此外,为了模拟车辆在不同计算迁移周期下的移动轨迹,将有任务卸载需求和资源闲置的130辆车辆出行的起点和终点看作与时间相关的随机过程,即在每个计算迁移周期的开始时刻,车辆出行的起点和终点服从给定的概率分布。路径损耗模型中的参数PL0=62.3 dB,近地参考距离d 0=5 m,路径损失指数υ=4。无线信号的小尺度衰落采用文献[20]提出的零均值复高斯随机信道模型进行模拟,高斯白噪声功率σ2=-174 dBm,VE-MACN计算迁移系统的频谱带宽为 10 MHz,单位比特数据量所需的计算周期为1 000,每个RSU和车辆搭载多核CPU处理器,假设单核CPU的频率为2.5 GHz,计算调频因子ς=10-2817]。此外,为了验证所提多址接入任务协同计算策略的有效性,以无车辆协同的计算迁移策略作为基准进行性能对比。

业务的累积平均处理时延如图4 所示,验证了在不同试验次数下,基于两种计算迁移策略的业务处理时延。由于VE-MACN为分布式计算迁移架构,所有车辆的任务都采用并行传输和计算模式,因此采用业务的累积平均处理时延反映VE-MACN计算迁移系统所有业务的服务时延。从图4中可以看出,随着试验次数的增加,两种计算迁移策略的业务累积平均处理时延都收敛到一个稳定值,这表明基于DRL的计算迁移策略具有良好的收敛性能。另一方面,相比于无车辆协同的计算迁移策略,本文所提的多址接入协同的计算迁移策略可以使业务的平均处理时延降低 22.5%,主要原因是当有更多资源闲置的车辆加入VE-MACN时,在同一个交通区域下,有计算迁移需求的车辆利用多址接入和任务分配策略将部分任务迁移到 RSU 和资源闲置车辆,实现数据流的并行传输和计算,进而降低业务的处理时延。

图4

图4   业务的累积平均处理时延


VE-MACN 系统的累积平均能量消耗如图5 所示,从系统运行开销角度对比了随着试验次数的增加,两种计算迁移策略的能量消耗比较结果。从图5中可以看出,当试验次数大于 200 时,两种计算迁移策略的系统累积平均能量消耗值均收敛到一个误差为±5 的区间。从系统总能量消耗来看,当VE-MACN 中没有车辆加入协同计算迁移时,RSU需要分配更多资源给有计算迁移需求的车辆,进而满足用户的业务处理时延需求,在这种情况下会增加系统的能量消耗;当有资源闲置的车辆加入VE-MACN 场景时,可以采用本文提出的多址接入协同的计算迁移策略将任务同时分配到 RSU 和车辆的计算服务器中,这种分布式的计算场景会减少为每个边缘节点分配的任务量,同时也会相应减少对计算资源的需求量,从而降低系统总体的能量消耗。

图5

图5   VE-MACN系统的累积平均能量消耗


VE-MACN 系统的累积平均收益如图6 所示,对比了随着试验次数的增加,两种计算迁移策略的系统累积平均收益值。对于本文提出的多址接入协同的计算迁移策略,有计算需求的车辆可以将更多信息分享给RSU和提供计算资源的车辆,从而获得更多的信息分享收益。因此,采用多址接入协同的计算迁移策略,可以确保在较低的业务处理时延和系统能量消耗的前提下,进一步提升系统的整体收益。

图6

图6   VE-MACN系统的累积平均收益


6 结束语

本文提出了车辆多址接入的边缘计算网络框架VE-MACN。基于车辆的移动轨迹,通过选择最优的接入模式将全部或者部分计算任务迁移到RSU 计算节点和有资源闲置的车辆实现分布式的任务传输和处理。为了验证VE-MACN计算迁移系统的可行性,本文分析了多址接入任务协同的计算迁移问题,通过对接入模式和任务分配的联合优化,旨在最大化系统收益的同时,兼顾系统能量消耗。为了解决这一复杂的混合整数线性规划问题,本文提出了基于DRL 的多址接入任务协同的计算迁移策略,相比于无车辆协同的计算迁移策略,所提算法能够降低业务的处理时延和系统能量消耗。

The authors have declared that no competing interests exist.
作者已声明无竞争性利益关系。

参考文献

WOLLSCHLAEGER M , SAUTER T , JASPERNEITE J.The future of industrial communication:automation networks in the era of the Internet of things and industry 4 .

0

[J]. IEEE Industrial Electronics Magazine, 2017,11(1): 17-27.

[本文引用: 1]

ABBAS N , ZHANG Y , TAHERKORDI A ,et al.

Mobile edge computing:a survey

[J]. IEEE Internet of Things, 2018,5(1): 450-465.

[本文引用: 1]

MAO Y Y , YOU C S , ZHANG J ,et al.

A survey on mobile edge computing:the communication perspective

[J]. IEEE Communication Survey & Tutorials, 2017,19(4): 2322-2358.

[本文引用: 1]

MACH P , BECVAR Z .

Mobile edge computing:a survey on architecture and computation offloading

[J]. IEEE Communication Survey &Tutorials, 2017,19(3): 1628-1656.

[本文引用: 1]

ETSI ISGs .

Mobile edge computing:a key technology towards 5G

[S]. White Paper, 2015: 1-16.

[本文引用: 1]

ZHENG K , ZHENG Q , CHATZIMISIONS P ,et al.

Heterogeneous vehicular networking:a survey on architecture,challenges and solutions

[J]. IEEE Communication Surveys & Tutorials, 2015,17(4): 2377-2396.

[本文引用: 1]

ZHANG K , MAO Y M , LENG S P ,et al.

Energy-efficient offloading for mobile edge computing in 5G heterogeneous networks

[J]. IEEE Access, 2016(4): 5896-5907.

[本文引用: 1]

ZHANG K , MAO Y M , LENG S P ,et al.

Mobile-edge computing for vehicular networks:a promising network paradigm with predictive offloading

[J]. IEEE Vehicle Technology Magazine, 2017,12(2): 36-44.

[本文引用: 1]

HOU X S , LI Y , CHEN M ,et al.

Vehicular fog computing:a viewpoint of vehicles as the infrastructures

[J]. IEEE Transactions on Vehicular Technology, 2016,65(6): 3860-3873.

[本文引用: 1]

HU Q T , WU C , ZHAO X B ,et al.

Vehicular multi-access edge computing with licensed sub-6 GHz,IEEE 802.11p and mmWave

[J]. IEEE Access, 2017(5): 1995-2004.

[本文引用: 1]

GUO H Z , LIU J J .

Collaborative computation offloading for multiaccess edge computing over fiber-wireless networks

[J]. IEEE Transactions on Vehicular Technology, 2017,12(2): 4514-4526.

[本文引用: 1]

MNIH V , KAVUKCUOGLU K , SILVER D ,et al.

Human-level control through deep reinforcement learning

[J]. Nature, 2015,518(7540): 529-533.

[本文引用: 1]

KASHIHARA K , .

Deep Q-learning for traffic simulation in autonomous driving at a highway junction

[C]// IEEE International Conference on Systems,Man and Cybernetics (SMC). IEEE, 2017: 984-988.

[本文引用: 1]

HE Y , ZHAO N , YIN H X .

Integrated networking,caching and computing for connected vehicles:a deep reinforcement learning approach

[J]. IEEE Transactions on Vehicular Technology, 2017,67(1): 44-55.

[本文引用: 1]

GUAN K , ZHONG Z D , AI B ,et al.

Propagation measurement and modeling of crossing bridge on high-speed railway at 930 MHz

[J]. IEEE Transactions on Vehicular Technology, 2014,63(2): 508-514.

[本文引用: 1]

VALCARCE A , ZHANG J.Empirical indoor-to-outdoor propagation model for residential areas at 0.9-3 .

5 GHz

[J]. IEEE Antennas and Wireless Propagation Letters, 2010(9): 682-685.

[本文引用: 1]

MIETTINEN A P , NURMINEN J K .

Energy efficiency of mobile clients in cloud computing

[C]// USENIX Conference on Hot Topics in Cloud Computing. USENIX Association, 2010: 1-7.

[本文引用: 2]

MAO Y Y , ZHANG J , LETAIEF K B .

Dynamic computation offloading for mobile-edge computing with energy harvesting devices

[J]. IEEE Journal on Selected Areas in Communications, 2016,34(12): 3590-3605.

[本文引用: 1]

ZHANG W W , WEN Y G , GUAN K ,et al.

Energy-optimal mobile cloud computing under stochastic wireless channel

[J]. IEEE Transactions on Wireless Communications, 2013,12(9): 4569-4581.

[本文引用: 1]

RAPPAPORT T S .

Wireless communication:principles and practice

[M]. New Jersey: Prentice Hall PRT, 1996.

[本文引用: 1]

/