基于Q-learning算法的vEPC虚拟网络功能部署方法

doi:10.11959/j.issn.1000-436x.2017173

通信学报 ›› 2017, Vol. 38 ›› Issue (8): 172-182.doi: 10.11959/j.issn.1000-436x.2017173

基于Q-learning算法的vEPC虚拟网络功能部署方法

袁泉^1,²,汤红波^1,²(),黄开枝¹,王晓雷^1,²,赵宇^1,²

¹ 国家数字交换系统工程技术研究中心，河南郑州 450002
² 移动互联网安全技术国家工程实验室，北京 100876

修回日期:2017-07-15 出版日期:2017-08-01 发布日期:2017-09-07
作者简介:袁泉（1991-），男，山东青岛人，国家数字交换系统工程技术研究中心硕士生，主要研究方向为移动通信网络、网络功能虚拟化。|汤红波（1968-），男，湖北孝感人，国家数字交换系统工程技术研究中心博士生导师，主要研究方向为移动通信网络、新型网络体系结构。|黄开枝（1973-），女，安徽滁州人，博士，国家数字交换系统工程技术研究中心博士生导师，主要研究方向为无线移动通信、无线物理层安全。|王晓雷（1982-），田，山东淄博人，国家数字交换系统工程技术研究中心讲师，主要研究方向为移动通信网络、新型网络体系结构等。|赵宇（1984-），男，吉林辽源人，国家数字交换系统工程技术研究中心讲师，主要研究方向为移动通信网络、新型网络体系结构等。
基金资助:
国家高技术研究发展计划（“863”计划）基金资助项目(2015AA01A706);国家自然科学基金资助项目(61521003);科技部支撑计划基金资助项目(2014BAH30B01)

Deployment method for vEPC virtualized network function via Q-learning

Quan YUAN^1,²,Hong-bo TANG^1,²(),Kai-zhi HUANG¹,Xiao-lei WANG^1,²,Yu ZHAO^1,²

¹ National Digital Switching System Engineering and Technological R＆D Center，Zhengzhou 450002，China
² National Engineering Laboratory for Mobile Network Security，Beijing 100876，China

Revised:2017-07-15 Online:2017-08-01 Published:2017-09-07
Supported by:
The Nationa1 High Techno1ogy Research and Deve1opment Program of China（863 Program）(2015AA01A706);The Nationa1 Natura1 Science Foundation of China(61521003);Ministry of Science and Techno1ogy Support P1an(2014BAH30B01)

摘要/Abstract

摘要：

针对虚拟化演进分组核心网（vEPC）环境下，现有虚拟网络功能（VNF）部署方法无法在优化时延的同时保证服务链部署收益的问题，提出一种改进的基于Q-1earning算法的vEPC虚拟网络功能部署方法。在传统0-1规划模型的基础上，采用马尔可夫决策过程建立了 vEPC 服务链部署的空间—时间优化模型，并设计了改进的Q-1earning算法求解。该方法同时考虑了空间维度下的EPC服务链虚拟映射和时间维度下的VNF生命周期管理，实现了VNF部署的收益—时延多目标优化。仿真结果表明，与其他VNF部署方法相比，该方法在降低网络时延的同时提高了VNF部署的收益和请求接受率。

关键词: 5G, 虚拟网络功能, 服务功能链部署, Q-1earning

Abstract:

In the context of vEPC，a method of virtua1ized network function（VNF）dep1oyment via an improved Q-1earning a1gorithm was proposed to so1ve the prob1em that the existing methods cannot achieve the optimization of time de1ay and revenue of VNF dep1oyment simu1taneous1y.To get the optima1 dep1oyment po1icy in both space dimension and time dimension，a Markov decision process mode1 of vEPC service function chain dep1oyment on the basis of the traditiona1 0-1 programming mode1 was estab1ished and a so1ution with an improved Q-1earning a1gorithm was proposed.The method had taken fu11 consideration of both virtua1 network embedding in space dimension and orchestration of VNF 1ife cyc1e in time dimension，and thus，the mu1ti-objective optimization of revenue and de1ay cou1d be attained.Simu1ation shows that the method can reduce network de1ay whi1e increasing the revenue and the ratio of request acceptance compared with other dep1oyment methods.

Key words: 5G, VNF, service function chain dep1oyment, Q-1earning

中图分类号:

TN915.81

袁泉,汤红波,黄开枝,王晓雷,赵宇. 基于Q-learning算法的vEPC虚拟网络功能部署方法[J]. 通信学报, 2017, 38(8): 172-182.

Quan YUAN,Hong-bo TANG,Kai-zhi HUANG,Xiao-lei WANG,Yu ZHAO. Deployment method for vEPC virtualized network function via Q-learning[J]. Journal on Communications, 2017, 38(8): 172-182.

图/表 15

图1

图3

图2

图4

表1

主要参数符号定义"

参数	定义
m	租户请求的最大VNF数量
n	底层网络中物理节点的总数量
k	表示底层网络中提供的物理资源类型
l	服务链中请求的VNF种类
$C_{n \times k}$	底层网络资源容量矩阵
$R_{m \times k}$	VNF服务链请求的资源矩阵
$B_{n \times n}$	物理节点的邻接矩阵
$V_{m \times m}$	VNF邻接矩阵
$W_{n \times n}$	传输时延开销矩阵
$W_{1 \times l}^{p}$	处理时延开销向量
$L_{1 \times m}$	服务链的VNF组成向量
$E_{1 \times m}$	服务链的部署收益向量
$X_{m \times n}$	服务链的部署关系矩阵

表1

图5

图6

图7

图8

图9

图10

图11

图12

图13

图14

参考文献 17

[1]	SAMA M R , CONTRERAS L M , KAIPPALLIMALIL J ,et al. Software-defined control of the virtualized mobile packet core[J]. IEEE Communications Magazine, 2015,53(2): 107-115.
[2]	TALEB T , CORICI M , PARADA C ,et al. EASE:EPC as a service to ease mobile core network deployment over cloud[J]. IEEE Network, 2015,29(2): 78-88.
[3]	MOENS H , DE F . VNF-P:a model for efficient placement of virtualized network functions[C]// IEEE International Conference on Network and Service Management. 2014: 418-423.
[4]	CLAYMAN S , MAINI E , GALIS A ,et al. The dynamic placement of virtual network functions[C]// IEEE International Conference on Network Operations and Management Symposium. 2014: 1-9.
[5]	BASTA A , KELLERER W , HOFFMANN M ,et al. Applying NFV and SDN to LTE mobile core gateways,the functions placement problem[C]// ACM Workshop on All Things Cellular:Operations,Applications,＆ Challenges, 2014: 33-38.
[6]	江逸茗, 兰巨龙, 周惠琴 . 网络虚拟化环境下的资源监控策略[J]. 电子与信息学报, 2014,36(3): 708-714.
	JIANG Y M , LAN J L , ZHOU H Q . Resource monitoring policy for network virtualization environment[J]. Journal of Electronics ＆ Information Technology, 2014,36(3): 708-714.
[7]	MIJUMBI R , SERRAT J , GORRICHO J L ,et al. Design and evaluation of algorithms for mapping and scheduling of virtual network functions[C]// IEEE Conference on Network Softwarization. 2015: 1-9.
[8]	HAN B , GOPALAKRISHNAN V , JI L S ,et al. Network function virtualization:challenges and opportunities for innovations[J]. IEEE Communications Magazine, 2015,53(2): 90-97.
[9]	BASTA A , KELLERER W , HOFFMANN M ,et al. A virtual SDN-enabled LTE EPC architecture:a case study for S-/P-Gateways functions[C]// IEEE International Conference on SDN for Future Networks and Services. 2013: 1-7.
[10]	FISCHER A , BOTERO J F , TILL BECK M ,et al. Virtual network embedding:a survey[J]. IEEE Communications Surveys ＆ Tutorials, 2013,15(4): 1888-1906.
[11]	ROSS S M . Stochastic processes[J]. John Wiley ＆ Sons Inc New York, 1996,48(1): 528-529.
[12]	SONG H , LIU C , LAWARRéE J ,et al. Optimal electricity supply bidding by Markov decision process[J]. IEEE Transactions on Power Systems, 2000,15(2): 618-624.
[13]	WATKINS C , DAYAN P . Q-learning[J]. Machine Learning, 1992,8(3-4): 279-292.
[14]	BUSONIU L , BABUSKA R . Reinforcement learning and dynamic programming using function approximators[M]. Florida: CRC PressPress, 2010.
[15]	DUONG T , CHU Y , NGUYEN T ,et al. Virtual machine placement via Q-learning with function approximation[C]// 2015 IEEE Global Communications Conference. 2015: 1-6.
[16]	ZEGURA E W , CALVERT K L , ACHARJEE S B . How to model an internetwork[C]// IEEE Conference of Computer Societies,Networking the Next Generation. 1996: 594-602.
[17]	ORLOWSKI S , WESS?LY R , PIóRO M ,et al. 0-survivable network design library[J]. Networks, 2010,55(3): 276-286.

基于Q-learning算法的vEPC虚拟网络功能部署方法

Deployment method for vEPC virtualized network function via Q-learning

在线阅读

PDF下载

可视化

被引次数

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 17

相关文章 15

Metrics

推荐阅读 0

[1]	刘彩霞, 季新生, 邬江兴. 移动通信网的内生安全共性问题及破解之道[J]. 通信学报, 2022, 43(9): 70-79.
[2]	徐泽汐, 庄雷, 张坤丽, 桂明宇. 基于知识图谱的服务功能链在线部署算法[J]. 通信学报, 2022, 43(8): 41-51.
[3]	兰巨龙, 朱棣, 李丹. 面向多模态网络业务切片的虚拟网络功能资源容量智能预测方法[J]. 通信学报, 2022, 43(6): 143-155.
[4]	邱航, 汤红波, 游伟, 赵宇, 柏溢. NFV中基于量子遗传算法的网络服务扩展算法[J]. 通信学报, 2022, 43(11): 44-52.
[5]	王慧强, 高凯旋, 吕宏武. 高精度室内定位研究评述及未来演进展望[J]. 通信学报, 2021, 42(7): 198-210.
[6]	孙雷, 王健全, 林尚静, 马彰超, 李卫, Qilian Liang, 黄蓉. 基于无线信道信息的5G与TSN联合调度机制研究[J]. 通信学报, 2021, 42(12): 65-75.
[7]	蔡岳平, 李栋, 许驰, 王振, 张潇文. 面向工业互联网的5G-U与时间敏感网络融合架构与技术[J]. 通信学报, 2021, 42(10): 43-54.
[8]	伏玉笋,杨根科. 无线超可靠低时延通信：关键设计分析与挑战[J]. 通信学报, 2020, 41(8): 187-203.
[9]	陈卓,冯钢,刘怡静,周杨. MEC中基于改进遗传模拟退火算法的虚拟网络功能部署策略[J]. 通信学报, 2020, 41(4): 70-80.
[10]	丁绍虎,谢记超,张鹏,普黎明,谷允捷. 基于风险感知的关键虚拟网络功能动态迁移方法[J]. 通信学报, 2020, 41(4): 102-113.
[11]	李晓娜,王中方,程谦,付婧雯,张顺亮. 基于迭代联合传输的超密集网络动态干扰协调方案[J]. 通信学报, 2020, 41(2): 176-186.
[12]	刘文学,陈诗军,葛建,袁洪,龚翠玲. 基于GNSS邻域相似性的5G基站纳秒级时间同步技术研究[J]. 通信学报, 2020, 41(1): 180-190.
[13]	黄韬,汪硕,黄玉栋,郑尧,刘江,刘韵洁. 确定性网络研究综述[J]. 通信学报, 2019, 40(6): 160-176.
[14]	邵雯娟,沈庆国. 软件定义的D2D和V2X通信研究综述[J]. 通信学报, 2019, 40(4): 179-194.
[15]	胡铮,袁浩,朱新宁,倪万里. 面向5G需求的人群流量预测模型研究[J]. 通信学报, 2019, 40(2): 1-10.