基于Q-learning的跨域服务链映射机制

doi:10.11959/j.issn.1000-436x.2018283

通信学报 ›› 2018, Vol. 39 ›› Issue (12): 102-112.doi: 10.11959/j.issn.1000-436x.2018283

基于Q-learning的跨域服务链映射机制

张红旗,黄睿(),杨英杰,常德显,张连成

中国人民解放军战略支援部队信息工程大学密码工程学院，河南郑州 450001

修回日期:2018-09-11 出版日期:2018-12-01 发布日期:2019-01-21
作者简介:张红旗（1962–），男，河北唐山人，博士，中国人民解放军战略支援部队信息工程大学教授、博士生导师，主要研究方向为网络与信息安全。|黄睿（1993–），女，新疆乌鲁木齐人，中国人民解放军战略支援部队信息工程大学硕士生，主要研究方向为软件定义网络、网络功能虚拟化、网络安全。|杨英杰（1971–），男，河南郑州人，博士，中国人民解放军战略支援部队信息工程大学教授、硕士生导师，主要研究方向为网络与信息安全。|常德显（1977–），男，河南南阳人，博士，中国人民解放军战略支援部队信息工程大学副教授、讲师，主要研究方向为网络与信息安全。|张连成（1982–），男，河南商丘人，博士，中国人民解放军战略支援部队信息工程大学副教授、讲师，主要研究方向为软件定义网络。
基金资助:
国家高技术研究发展计划（“863”计划）基金资助项目(No.2012AA012704);国家自然科学基金资助项目(No.61402526);国家自然科学基金资助项目(No.61402525);国家自然科学基金资助项目(No.61502528);郑州市科技领军人才项目(No.131PLJRC644)

Cross-domain service chain mapping mechanism based on Q-learning

Hongqi ZHANG,Rui HUANG(),Yingjie YANG,Dexian CHANG,Liancheng ZHANG

Cryptography Engineering Institute of Information Engineering University, Zhengzhou 450001, China

Revised:2018-09-11 Online:2018-12-01 Published:2019-01-21
Supported by:
The National High Technology Research and Development Program of China(863 Program)(No.2012AA012704);The National Natural Science Foundation of China(No.61402526);The National Natural Science Foundation of China(No.61402525);The National Natural Science Foundation of China(No.61502528);Zhengzhou Science and Technology Talents Project(No.131PLJRC644)

摘要/Abstract

摘要：

针对软件定义网络功能虚拟化环境下跨域服务链映射问题，提出了一种区域集中管理、全局协同调度的虚拟服务资源管控架构。在此基础上，建立了一种有效的跨域服务链映射框架，在此框架下将跨域服务链映射问题建模为以最小化映射开销为目标的整数线性规划问题，并基于Q-learning机制设计跨域服务链构建请求分割算法进行优化求解。仿真实验表明该方法在平均分割时间、平均映射开销和服务链构建请求接受率等方面相较传统方法具有更优的表现。

关键词: 软件定义网络, 网络功能虚拟化, 服务链, 映射, 强化学习

Abstract:

A virtual service resources controlling architecture with regional centralized management and global coordinated scheduling was proposed for the problem of cross-domain service chain mapping in SDNFV environment. On this basis, an effective mapping framework was built and the cross-domain mapping problem was modeled as an ILP with the purpose of minimizing mapping cost. A partitioning algorithm was designed to solve the problem based on Q-learning mechanism under this framework. Simulation results show that the performances of this method are better than other traditional methods on average partition time, average mapping cost, and acceptance ratioof service chain mapping request.

Key words: software defined network, network function virtualization, service chain, mapping, reinforcement learning

中图分类号:

TP393

张红旗,黄睿,杨英杰,常德显,张连成. 基于Q-learning的跨域服务链映射机制[J]. 通信学报, 2018, 39(12): 102-112.

Hongqi ZHANG,Rui HUANG,Yingjie YANG,Dexian CHANG,Liancheng ZHANG. Cross-domain service chain mapping mechanism based on Q-learning[J]. Journal on Communications, 2018, 39(12): 102-112.

图/表 9

图1

图2

图3

表1

图4

图5

图6

图7

图8

参考文献 24

[1]	KREUTZ D , RAMOS F M V , VERíSSIMO P E , et al. Software-defined networking: a comprehensive survey[J]. Proceedings of the IEEE, 2015,103(1):14-76.
[2]	黄韬，刘江，霍如，等. 未来网络体系架构研究综述[J]. 通信学报， 2014,35(8): 184-197.
	HUANG T , LIU J , HUO R , et al. Survey of research on future network architectures[J]. Journal on Communications, 2014,35(8): 184-197.
[3]	MIJUMBI R , SERRAT J , GORRICHO J L , et al. Network function virtualization: state-of-the-art and research challenges[J]. IEEE Communications Surveys & Tutorials, 2017,18(1):236-262.
[4]	SUN C , BI J , ZHENG Z , et al. NFP: enabling network function parallelism in NFV[C]// ACM Conference of the Special Interest Group on Data Communication. 2017:43-56.
[5]	LI Y , CHEN M . Software-defined network function virtualization: a survey[J]. IEEE Access, 2015,3(1):2542-2553.
[6]	BHAMARE D , JAIN R , SAMAKA M , et al. A survey on service function chaining[J]. Journal of Network and Computer Applications, 2016,75(3):138-155.
[7]	XIONG G , HU Y , LAN J , et al. A mechanism for configurable network service chaining and its implementation[J]. KSII Transactions on Internet and Information Systems, 2016,10(8):3701-3727.
[8]	ZHANG Q , XIAO Y , LIU F , et al. Joint optimization of chain placement and request scheduling for network function virtualization[C]// 2017 IEEE International Conference on Distributed Computing Systems. 2017:731-741.
[9]	YE Z , CAO X , WANG J , et al. Joint topology design and mapping of service function chains for efficient, scalable, and reliable network functions virtualization[J]. IEEE Network, 2016,30(3):81-87.
[10]	MOENS H , TURCK F D . Customizable function chains: managing service chain variability in hybrid NFV networks[J]. IEEE Transactions on Network and Service Management, 2016,13(4):711-724.
[11]	DIETRICH D , ABUJODA A , RIZK A , et al. Multi-provider service chain embedding with nestor[J]. IEEE Transactions on Network and Service Management, 2017,14(1):91-105.
[12]	LIN P , BI J , WANG Y . WEBridge: west-east bridge for distributed heterogeneous SDN NOSespeering[J]. Security and Communication Networks, 2015,8(10):1926-1942.
[13]	LIN P , BI J , WOLFF S , et al. A west-east bridge based SDN inter-domain testbed[J]. Communications Magazine IEEE, 2015,53(2):190-197.
[14]	WANG Y , BI J , LIN P , et al. SDI: a multi-domain SDN mechanism for fine-grained inter-domain routing[J]. Annals of Telecommunications, 2016,71(11-12):625-637.
[15]	HOUIDI I , LOUATI W , AMEUR W B , et al. Virtual network provisioning across multiple substrate networks[J]. Computer Networks, 2011,55(4):1011-1023.
[16]	GROSSMAN P . Introduction to algorithms[M]. MCGRAW: MIT press, 2011.
[17]	ZHANG Q , LIN M , YANG L T , et al. Energy-efficient scheduling for real-time systems based on deep Q-learning model[J]. IEEE Transactions on Sustainable Computing, 2017,12(9):41-49.
[18]	WATKINS C , DAYAN P . Q-learning[J]. Machine Learning, 1992,8(3-4):279-292.
[19]	WEI Q , LEWISF L , SUN Q , et al. Discrete-time deterministic Q-learning: a novel convergence analysis[J]. IEEE transactions on cybernetics, 2016:1-14.
[20]	DIETRICH D , RIZK A , APADIMITRIOU P . Multi-domain virtual network embedding with limited information disclosure[C]// The 16th IFTP Networking Conference, 2013:1-3.
[21]	贾伟，夏靖波 . 跨域虚拟网络映射问题研究[J]. 电子与信息学报， 2016,38(3): 728-734.
	JIA W , XIA J B . Research on virtual network embedding across multiple domains[J]. Journal of Electronics & Information Technology, 2016,38(3): 728-734.
[22]	WANG X , LOGUINOY D . Understanding and modeling the Internet topology: economics and evolution perspective[J]. IEEE/ACM Transactions on Networking, 2010,18(1): 257-270.
[23]	MECHTRI M , GHRIBI C , ZEGHLACHE D . A scalable algorithm for the placement of service function chains[J]. IEEE Transactions on Network and Service Management, 2016,13(3): 533-546.
[24]	CHOWDHURY M , SAMUEL F , BOUTABA R . PolyViNE: policy-based virtual network embedding acrossmultiple domains[C]// The 2nd ACM SIGCOMMVISA. 2010: 49-56.

	n^{Sb 1}	n^{Sb 2}	n^{Sb 3}	n^{Sb 4}
a	1	?1	?1	?1
b	1	?1	?1	?1
c	?1	1	0	?1
d	?1	?1	?1	1

基于Q-learning的跨域服务链映射机制

Cross-domain service chain mapping mechanism based on Q-learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 24

相关文章 15

Metrics

推荐阅读 0

[1]	马玲, 樊漆亮, 许婷, 郭冠琛, 张圣林, 孙永谦, 张玉志. 基于强化学习的在线离线混部云环境下的调度框架[J]. 通信学报, 2023, 44(6): 90-102.
[2]	张海波, 兰凯, 陈舟, 王汝言, 邹灿, 王明月. 车联网中基于环的匿名高效批量认证与组密钥协商协议[J]. 通信学报, 2023, 44(6): 103-116.
[3]	金彪, 李逸康, 姚志强, 陈瑜霖, 熊金波. GenFedRL：面向深度强化学习智能体的通用联邦强化学习框架[J]. 通信学报, 2023, 44(6): 183-197.
[4]	李元诚, 秦永泰. 基于深度强化学习的软件定义安全中台QoS实时优化算法[J]. 通信学报, 2023, 44(5): 181-192.
[5]	周大成, 陈鸿昶, 何威振, 程国振, 扈红超. 基于深度强化学习的微服务多维动态防御策略研究[J]. 通信学报, 2023, 44(4): 50-63.
[6]	许国良, 谭峰, 冉泳屹, 陈丰. 面向多波束卫星系统的波束跳变与覆盖控制联合优化算法[J]. 通信学报, 2023, 44(4): 78-86.
[7]	王东滨, 吴东哲, 智慧, 郭昆, 张勖, 时金桥, 张宇, 陆月明. 软件定义网络抗拒绝服务攻击的流表溢出防护[J]. 通信学报, 2023, 44(2): 1-11.
[8]	陈浩, 杨芫, 徐明伟, 裴丹, 尤艺霖. 支持多模态网络的可扩展异构服务功能链并行编排部署系统[J]. 通信学报, 2022, 43(9): 1-11.
[9]	刘彩霞, 季新生, 邬江兴. 移动通信网的内生安全共性问题及破解之道[J]. 通信学报, 2022, 43(9): 70-79.
[10]	闫文浩, 姜子敬, 黄欣, 朱淑娟, 丁群. 广义二维多项式混沌映射及其在信息传输中的应用[J]. 通信学报, 2022, 43(9): 80-89.
[11]	许文俊, 吴思雷, 王凤玉, 林兰, 李国军, 张治. 基于多智能体强化学习的大规模灾后用户分布式覆盖优化[J]. 通信学报, 2022, 43(8): 1-16.
[12]	沙宗轩, 霍如, 孙闯, 汪硕, 黄韬. 基于深度强化学习的转发效能感知流量调度算法[J]. 通信学报, 2022, 43(8): 30-40.
[13]	徐泽汐, 庄雷, 张坤丽, 桂明宇. 基于知识图谱的服务功能链在线部署算法[J]. 通信学报, 2022, 43(8): 41-51.
[14]	马帅, 李兵, 盛海鸿, 谷荣妍, 周辉, 王洪梅, 王悦, 李世银. 基于深度强化学习的可见光定位通信一体化功率分配研究[J]. 通信学报, 2022, 43(8): 121-130.
[15]	张宇, 程旻. NDN中边缘计算与缓存的联合优化[J]. 通信学报, 2022, 43(8): 164-175.