面向确定性网络的按需智能路由技术

doi:10.11959/j.issn.1000-0801.2021245

电信科学 ›› 2021, Vol. 37 ›› Issue (11): 11-16.doi: 10.11959/j.issn.1000-0801.2021245

面向确定性网络的按需智能路由技术

伍仲丽¹, 曹园园¹, 黄文睿¹, 戴彬¹, 莫益军²

¹ 华中科技大学电子信息与通信学院，湖北武汉 430074
² 华中科技大学计算机科学与技术学院，湖北武汉 430074

出版日期:2021-11-01 发布日期:2021-11-01
作者简介:伍仲丽（1998− ），女，华中科技大学电子信息与通信学院硕士生，主要研究方向为强化学习、路由计算
曹园园（1996− ），女，华中科技大学电子信息与通信学院硕士生，主要研究方向为机器学习、SDN
黄文睿（1999− ），男，华中科技大学电子信息与通信学院硕士生，主要研究方向为图神经网络、网络路由
戴彬（1977− ），男，博士，华中科技大学电子信息与通信学院副教授，主要研究方向为智能路由、边缘计算
莫益军（1976− ），男，博士，华中科技大学计算机科学与技术学院副教授，主要研究方向为智能网络、边缘计算
基金资助:
国家重点研发计划项目(2020YFB1805203)

On-demand intelligent routing technology for deterministic network

Zhongli WU¹, Yuanyuan CAO¹, Wenrui HUANG¹, Bin DAI¹, Yijun MO²

¹ School of Electronic Information and Communications, Huazhong University of Science and Technology, Wuhan 430074, China
² School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan 430074, China

Online:2021-11-01 Published:2021-11-01
Supported by:
The National Key Research and Development Project(2020YFB1805203)

摘要/Abstract

摘要：

确定性网络需要保证不同应用在时延、丢包率、抖动、吞吐量和可靠性等方面的确定性传输需求。针对应用的差异化、确定性的网络传输需求，提出了一种面向确定性网络的按需智能路由学习框架 OdR，在OdR框架下提出一种基于深度强化学习的按需智能路由算法OdR-TD3，OdR-TD3算法可以根据应用流量的确定性QoS需求生成路由策略，以满足确定性网络应用的需求。通过网络仿真实验评估，在确定性应用的QoS需求达成率上，OdR-TD3算法相较DV算法和SPF算法，具有显著的优势。

关键词: 确定性网络, 深度强化学习, 按需智能路由, 服务质量

Abstract:

Deterministic network needs to ensure the deterministic transmission requirements of different applications in terms of delay, packet loss rate, jitter, throughput, and reliability.In response to the differentiated and deterministic network transmission requirements of applications, an on-demand intelligent routing framework OdR for deterministic network was proposed.Under the OdR framework, an on-demand intelligent routing algorithm named OdR-TD3 based on deep reinforcement learning was proposed, which generates routing strategies based on the deterministic QoS requirements of application traffic, to satisfy the applications’ requirements of deterministic network.The experimental evaluation results show the OdR-TD3 algorithm has a significant advantage over the DV algorithm and the SPF algorithm in terms of the achievement rate of deterministic QoS requirements.

Key words: deterministic network, deep reinforcement learning, on-demand intelligent routing, quality of service

中图分类号:

TP393

伍仲丽, 曹园园, 黄文睿, 戴彬, 莫益军. 面向确定性网络的按需智能路由技术[J]. 电信科学, 2021, 37(11): 11-16.

Zhongli WU, Yuanyuan CAO, Wenrui HUANG, Bin DAI, Yijun MO. On-demand intelligent routing technology for deterministic network[J]. Telecommunications Science, 2021, 37(11): 11-16.

图/表 4

参考文献 12

[1]	KARAKUS M , DURRESI A . Quality of service (QoS) in software defined networking (SDN):a survey[J]. Journal of Network and Computer Applications, 2017(80): 200-218.
[2]	黄韬, 汪硕, 黄玉栋 ,等. 确定性网络研究综述[J]. 通信学报, 2019,40(6): 160-176.
	HUANG T , WANG S , HUANG Y D ,et al. Survey of the deterministic network[J]. Journal on Communications, 2019,40(6): 160-176.
[3]	LI Z M ， PENGC ， YUG ,et al. DetNet:abackbone network for object detection[J]. 2018.arXiv:1804.06215.
[4]	李季明, 张宁 . 具有随机性的确定性网络模型[J]. 复杂系统与复杂性科学, 2007,4(2): 56-61.
	LI J M , ZHANG N . Deterministic network model with randomness[J]. Complex Systems and Complexity Science, 2007,4(2): 56-61.
[5]	LUONG N C , HOANG D T , GONG S M ,et al. Applications of deep reinforcement learning in communications and networking:a survey[J]. IEEE Communications Surveys ＆ Tutorials, 2019,21(4): 3133-3174.
[6]	ROBINSON Y H , JULIE E G , SARAVANAN K ,et al. FD-AOMDV:fault-tolerant disjoint ad-hoc on-demand multipath distance vector routing algorithm in mobile ad-hoc networks[J]. Journal of Ambient Intelligence and Humanized Computing, 2019,10(11): 4455-4472.
[7]	WANG Z , CROWCROFT J . Analysis of shortest-path routing algorithms in a dynamic network environment[J]. ACM SIGCOMM Computer Communication Review, 1992,22(2): 63-71.
[8]	DAI B , CAO Y Y , WU Z L ,et al. Routing optimization meets machine intelligence:a perspective for the future network[J]. Neurocomputing, 2021,459: 44-58.
[9]	XIE J F , YU F R , HUANG T ,et al. A survey of machine learning techniques applied to software defined networking (SDN):research issues and challenges[J]. IEEE Communications Surveys ＆ Tutorials, 2019,21(1): 393-430.
[10]	MCKEOWNN , ANDERSONT , BALAKRISHNANH ,et al. OpenFlow[J]. ACM SIGCOMM Computer Communication Review, 2008,38(2): 69-74.
[11]	SCOTT F , HERKE H , DAVID M . Addressing function approximation error in actor-critic methods[C]// Proceedings of the 35th International Conference on Machine Learning.[S.l.:s.n.], 2018: 1587-1596.
[12]	UHLIG S , QUOITIN B , LEPROPRE J ,et al. Providing public intradomain traffic matrices to the research community[J]. ACM SIGCOMM Computer Communication Review, 2006,36(1): 83-86.

应用流量	最大时延容忍	最大抖动容忍	最大丢包率容忍
α₁	100 ms	50 ms	0.01
α₂	200 ms	100 ms	0.02
α₃	1s	300 ms	0.05

	DV	SPF	OdR-TD3
奖励值	-2.335	-1.052	-0.538

QoS指标	应用类型	DV	SPF	OdR-TD3
平均时延/s	α₁	1.659	0.798	0.083
	α₂	1.754	0.857	0.157
	α₃	1.915	0.919	0.659
平均抖动/s	α₁	0.121	0.079	0.045
	α₂	0.134	0.085	0.076
	α₃	0.109	0.083	0.079
平均丢包率	α₁	0.057	0.026	0.005
	α₂	0.059	0.022	0.007
	α₃	0.067	0.019	0.006

[1]	胡珈玮, 刘晓谦, 唐昕柯, 董宇涵. 基于DQN的UUV辅助水下无线光通信轨迹规划系统[J]. 电信科学, 2023, 39(5): 42-47.
[2]	廖熙雯, 冷甦鹏, 明昱君, 李天扬. 基于数字孪生的城市交通流智能预测与导引策略[J]. 电信科学, 2023, 39(3): 70-79.
[3]	贾宇航, 雷艺学, 张翼鹏, 张云飞. 远程遥控驾驶场景下基于网络信息开放的QoS预测[J]. 电信科学, 2023, 39(3): 153-161.
[4]	康宇, 刘雅琼, 赵彤雨, 寿国础. AI算法在车联网通信与计算中的应用综述[J]. 电信科学, 2023, 39(1): 1-19.
[5]	邓丹昊, 王朝炜, 江帆, 王卫东. 无人机辅助无蜂窝大规模MIMO中的空地协同调度[J]. 电信科学, 2022, 38(8): 37-44.
[6]	信金灿, 许森, 张化, 熊尚坤, 许话. 面向时间敏感网络的5G无线网增强技术研究[J]. 电信科学, 2022, 38(5): 18-25.
[7]	宋光敏, 王群青, 黄占兵, 施迅, 韩高健. 端边协同保障时延确定性技术研究[J]. 电信科学, 2022, 38(5): 26-37.
[8]	丁铖, 陈锦荣, 曹小冬, 王翊. 基于服务质量的层次化结构资源分配算法[J]. 电信科学, 2022, 38(1): 102-111.
[9]	王庆扬, 杨智斌, 龙彪, 梁灏泉. 基于核心网分析和决策的5G网络智能调度[J]. 电信科学, 2021, 37(9): 129-138.
[10]	刘鹏, 杜宗鹏, 李永竞, 陆璐, 段晓东. 端到端确定性网络架构和关键技术[J]. 电信科学, 2021, 37(9): 64-73.
[11]	胡道允, 齐进, 陆钱春, 李锋, 房红强. 基于深度学习的流量工程算法研究与应用[J]. 电信科学, 2021, 37(2): 107-114.
[12]	莫益军, 杨子涵, 刘辉宇, 何天流. 面向大规模确定性网络的全局循环排队与转发机制[J]. 电信科学, 2021, 37(10): 55-65.
[13]	肖子玉. 面向2030的未来网络关键技术综述——Beyond 5G[J]. 电信科学, 2020, 36(9): 114-121.
[14]	桂飞,程阳,李丹,洪思虹. 互联网智能路由架构及算法[J]. 电信科学, 2020, 36(10): 12-20.
[15]	强鹂, 刘冰洋, 于德雷, 王闯. 大规模确定性网络转发技术[J]. 电信科学, 2019, 35(9): 12-19.

面向确定性网络的按需智能路由技术

On-demand intelligent routing technology for deterministic network

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 12

相关文章 15

Metrics

推荐阅读 0