基于强化学习的异构无线网络资源管理算法

doi:10.11959/j.issn.1000-0801.2015195

摘要/Abstract

摘要：

为了充分利用各种无线网络的资源，需要实现异构网络的融合，而异构网络的融合又面临接入控制与资源分配的问题。为此，提出一种基于强化学习的异构无线网络资源管理算法，该算法引入 D2D （device-to-device）通信模式，并可以根据终端不同的业务类型、终端移动性及网络负载条件等状态，选择合适的网络接入方式。同时，为降低存储需求，采用神经网络技术解决连续状态空间问题。仿真结果表明，该算法具有高效的在线学习能力，能够有效地提升网络的频谱效用，降低阻塞率，从而实现自主的无线资源管理。

关键词: 异构无线网络, 接入控制, 资源管理, 强化学习, Q学习

Abstract:

In order to make full use of the resources of all kinds of wireless network，the integration of heterogeneous network is necessary.However，when it comes to the heterogeneous network integration，the problems of call request access control and resource management emerge.A reinforcement-learning-based algorithm was presented for heterogeneous wireless network resource management.D2D （device-to-device）communication was introduced into the proposed algorithm and the appropriate network for access could be selected according to different traffic types，terminal mobility，network load status and so on.Meanwhile，to reduce the storage requirement，the neural network technology was used to solve the problem of continuous state space.Simulation results show that the proposed algorithm has an efficient learning ability to achieve autonomous radio resource management，which effectively improves the spectrum utility and reduces the blocking probability.

Key words: heterogeneous wireless network, access control, resource management, reinforcement learning, Q-learning

冯陈伟,袁江南. 基于强化学习的异构无线网络资源管理算法[J]. 电信科学, 2015, 31(8): 99-106.

Chenwei Feng,Jiangnan Yuan. Heterogeneous Wireless Network Resource Management Algorithm Based on Reinforcement Learning[J]. Telecommunications Science, 2015, 31(8): 99-106.

图/表 12

图1

图2

图3

表1

仿真参数设置"

参数		LTE	small cell	D2D
容量/（kbit·s^-1）		1 000	2 000	4 000
业务匹配系数η_V	语音	5	1	8d
	数据	1	5	8d
移动性匹配系数η_M	移动	5	1	0
	静止	1	5	5d
其他参数		折扣因子γ=0.8
		初始学习率 α₀=0.5
		初始探索概率 ε₀=0.5
		$d = {\begin{matrix} 1, & 终端具有 D 2 D 模式 \\ 0, & 其他 \end{matrix}$

表1

图4

图5

图6

图7

图8

图9

表2

表3

参考文献 23

1	Luo J ， Mukerjee R ， Dillinger M ，et al. Investigation of radio resource scheduling in WLANs coupled with 3G cellular network. IEEE Communications Magazine， 2003，41（6）： 108～115
2	3GPP TR 25.881 v5.0.0.Improvement of RRM across RNS and RNS/BSS（Release5）. ， 2001
3	Song Q ， Jamalipour A . Network selection in an integrated wireless LAN and UMTS environment using mathematical modeling and computing techniques. IEEE Wireless Communications， 2005，12（3）： 42～48
4	Zhang Y ， Chen J ， Zhang P . Autonomic joint radio resource management in B3G environment using reinforcement learning. Proceedings of the 6th Annual Wireless Telecommunications Symposium（WTS 2007）， Pomona，California，USA， 2007
5	Barto A G . Reinforcement Learning：an Introduction. Cambridge： MIT Press, 1998
6	Kaelbling L P ， Littman M L ， Moore A W . Reinforcement learning：a survey. Journal of Artificial Intelligence Research， 1996（4）： 237～285
7	Nie J ， Haykin S . A Q-learning-based dynamic channel assignment technique for mobile communication systems. IEEE Transactions on Vehicular Technology， 1999，48（5）： 1676～1687
8	Senouci S M ， Beylot A L ， Pujolle G . Call admission control in cellular networks：a reinforcement learning solution. International Journal of Network Management， 2004，14（2）： 89～103
9	Haddad M ， Altman Z ， Elayoubi S E ，et al. A nash-stackelberg fuzzy Q-learning decision approach in heterogeneous cognitive networks. Proceedings of Global Telecommunications Conference （GLOBECOM 2010）， Miami，Florida，USA， 2010： 1～6
10	Simsek M ， Czylwik A . Decentralized Q-learning of LTE-femtocells for interference reduction in heterogeneous networks using cooperation. Proceedings of 2012 International ITG Workshop on Smart Antennas（WSA）， Dresden，Germany， 2012： 86～91
11	Saker L ， Ben Jemaa S ， Elayoubi S E . Q-learning for joint access decision in heterogeneous networks. Proceedings of Wireless Communications and Networking Conference， Budapest，Hungary， 2009： 1～5
12	Tabrizi H ， Farhadi G ， Cioffi J . Dynamic handoff decision in heterogeneous wireless systems：Q-learning approach. Proceedings of 2012 IEEE International Conference on Communications （ICC）， Ottawa，Canada， 2012： 3217～3222
13	张永靖，冯志勇，张平 . 基于Q学习的自主联合无线资源管理算法. 电子与信息学报， 2008，30（3）： 676～680 Zhang Y ， Feng Z ， Zhang P . A Q-learning based autonomic join radio resource management algorithm. Journal of Electronics and Information Technology， 2008，33（3）： 676～680
14	Zhao Y ， Zhou W ， Zhu Q . Q-learning based heterogeneous network selection algorithm. Proceedings of the 2nd World Congress on Computer Science and Information Engineering， Changchun，China， 2011： 471～477
15	Chen Y H ， Chang C J ， Huang C Y . Fuzzy Q-learning admission control for WCDMA/WLAN heterogeneous networks with multimedia traffic. IEEE Transactions on Mobile Computing， 2009，8（11）： 1469～1479
16	谭力，陈亚迷，李一喆等. 一种基于 Q-学习的认知无线网络接入方案. 新型工业化， 2011（9）： 37～44 Tan L ， Chen Y ， Li Y ，et al. Q-learning based cognitive wireless network access mechanism. Journal of New Industrialization， 2011（9）： 37～44
17	陈旋 . 基于Q学习的LTE/WLAN网络接入控制算法研究（硕士学位论文）. 哈尔滨工业大学， 2013 Chen X . Call admission control in LTE/WLAN network based on Q-learning（master dissertation）. Harbin Institute of Technology， 2013
18	Tan X ， Luan X ， Cheng Y ，et al. Cell selection in two-tier femtocell networks using Q-learning algorithm. Proceedings of the 16th International Conference on Advanced Communication Technology， Pyeongchang，Korea， 2014： 1031～1035
19	Doppler K ， Rinne M ， Wijting C ，et al. Device-to-device communication as an underlay to LTE-Advanced networks. IEEE Communications Magazine， 2009，47（12）： 42～49
20	Barto A G ， Bradtke S J ， Singh S P . Learning to act using real-time dynamic programming. Artificial Intelligence， 1995，72（1）： 81～138
21	Watkins C J C H ， Dayan P . Q-learning. Machine Learning， 1992，8（3～4）： 279～292
22	叶培智 . 异构无线网络接入选择算法的研究（硕士学位论文）. 厦门大学， 2013 Ye P Z . Research on access selection in heterogeneous wireless networks（master dissertation）. Xiamen University， 2013
23	Senouci S ， Beylot A ， Pujolle G Call admission control in cellular networks：a reinforcement learning solution. International Journal of Network Management， 2004，14（2）： 89～103

网络	RRA	LBJA	QLJA
LTE	0.04	0.05	0.38
small cell	0.03	-0.05	-0.35

网络	RRA	LBJA	QLJA
LTE	0.03	0.07	-0.39
small cell	-0.04	-0.02	0.38

[1]	胡珈玮, 刘晓谦, 唐昕柯, 董宇涵. 基于DQN的UUV辅助水下无线光通信轨迹规划系统[J]. 电信科学, 2023, 39(5): 42-47.
[2]	张志龙, 张天琦, 李雪菲, 刘丹谱. 基于计算控制通信融合的车联网资源协同优化技术研究[J]. 电信科学, 2023, 39(4): 17-30.
[3]	王雪荣, 唐政治, 李银川, 齐美玉, 朱建波, 张亮. 基于优化决策树的时延敏感流智能感知调度[J]. 电信科学, 2023, 39(4): 120-132.
[4]	廖熙雯, 冷甦鹏, 明昱君, 李天扬. 基于数字孪生的城市交通流智能预测与导引策略[J]. 电信科学, 2023, 39(3): 70-79.
[5]	康宇, 刘雅琼, 赵彤雨, 寿国础. AI算法在车联网通信与计算中的应用综述[J]. 电信科学, 2023, 39(1): 1-19.
[6]	邓丹昊, 王朝炜, 江帆, 王卫东. 无人机辅助无蜂窝大规模MIMO中的空地协同调度[J]. 电信科学, 2022, 38(8): 37-44.
[7]	李昕, 孙君. 基于价值差异学习的多小区mMTC接入算法[J]. 电信科学, 2022, 38(6): 82-90.
[8]	金楠, 王瑞琴, 陆悦聪. 基于艾宾浩斯遗忘曲线和注意力机制的推荐算法[J]. 电信科学, 2022, 38(10): 89-97.
[9]	周天航, 杨闯, 刘子乐, 彭木根, 于丽. 太赫兹无线组网：原理、现状与挑战[J]. 电信科学, 2021, 37(6): 33-44.
[10]	孙茜, 田霖, 周一青, 冯晨, 王园园, 周继华. 面向B5G和6G的边缘计算与网络切片资源管理[J]. 电信科学, 2021, 37(6): 55-65.
[11]	章坚武, 王路鑫, 孙玲芬, 章谦骅, 单杭冠. 人工智能在5G系统中的应用综述[J]. 电信科学, 2021, 37(5): 14-31.
[12]	伍仲丽, 曹园园, 黄文睿, 戴彬, 莫益军. 面向确定性网络的按需智能路由技术[J]. 电信科学, 2021, 37(11): 11-16.
[13]	余云河, 孙君. 机器类通信中集中式与分布式Q学习的资源分配算法研究[J]. 电信科学, 2021, 37(11): 41-50.
[14]	桂飞,程阳,李丹,洪思虹. 互联网智能路由架构及算法[J]. 电信科学, 2020, 36(10): 12-20.
[15]	何明捷,张杰,山世光. 神经结构搜索进展概述[J]. 电信科学, 2019, 35(5): 43-50.