电信科学 ›› 2023, Vol. 39 ›› Issue (5): 42-47.doi: 10.11959/j.issn.1000-0801.2023108

• 专题：可见光通信 • 上一篇    下一篇

基于DQN的UUV辅助水下无线光通信轨迹规划系统

胡珈玮1, 刘晓谦1, 唐昕柯2, 董宇涵1,2   

  1. 1 清华大学深圳国际研究生院，广东 深圳 518055
    2 鹏城实验室，广东 深圳 518055
  • 修回日期:2023-05-10 出版日期:2023-05-20 发布日期:2023-05-01
  • 作者简介:胡珈玮（1999- ），男，清华大学深圳国际研究生院硕士生，主要研究方向为深度强化学习和无人机辅助通信
    刘晓谦（1999- ），男，清华大学深圳国际研究生院硕士生，主要研究方向为水下无线光通信和下一代短距无线通信技术
    唐昕柯（1989- ），男，鹏城实验室副研究员，主要研究方向为无线光通信、量子密钥分发、光纤通信等
    董宇涵（1979- ），男，清华大学深圳国际研究生院副教授、鹏城实验室副研究员，主要研究方向为无线通信与网络、无线光通信、机器学习与优化

Trajectory planning of UUV-assisted UWOC systems based on DQN

Jiawei HU1, Xiaoqian LIU1, Xinke TANG2, Yuhan DONG1,2   

  1. 1 Shenzhen International Graduate School, Tsinghua University, Shenzhen 518055, China
    2 Peng Cheng Laboratory, Shenzhen 518055, China
  • Revised:2023-05-10 Online:2023-05-20 Published:2023-05-01

在线阅读

28

PDF下载

267

摘要：

无人水下航行器（unmanned underwater vehicle，UUV）作为重要潜基通信平台可以辅助水下无线光通信（underwater wireless optical communication，UWOC）。然而，在实际应用中，水体波动特性、不同水质环境、多用户接入等给UUV辅助UWOC系统带来很大挑战，因而适当的路径规划策略可以应对上述挑战并最大限度地提升系统整体和每一个用户的性能。将深度强化学习（deep reinforcement learning，DRL）用于无人载具路径规划中，提出了一种 UUV 辅助 UWOC 系统的轨迹规划方案。通过 DRL 中深度 Q 网络（deep Q-network，DQN）方法让UUV自动决策航行方向，从而提升系统和用户的链路通信容量。同时，研究了不同水质对容量提升效果的影响。仿真实验表明，DQN输出策略可以在一定程度上提升系统整体和各个用户的链路通信容量，并且UUV在清澈海水中的容量提升效果优于纯净海水但低于沿岸水。

关键词: 无人水下航行器, 无线光通信, 深度强化学习, 轨迹规划

Abstract:

As a key submarine-based communication platform, unmanned underwater vehicle (UUV) can facilitate underwater wireless optical communication (UWOC).However, fluctuating characteristics of water body, different water qualities, multi-user access present challenges to UUV-assisted UWOC systems, which could be alleviated by an appropriate path planning to maximize the system and each user performance.Deep reinforcement learning (DRL) technology was applied in the path planning of autonomous vehicles, a trajectory planning scheme for UUV-assisted UWOC systems was proposed.The UUV automatically decides the navigation direction through deep Q-network (DQN) method, thereby improving the communication capacity of the system and each user.The impact of distinct water qualities on the capacity enhancement was also investigated.Simulation results suggest that the outputted strategy of DQN can improve the link capacity of the system and each user.This capacity improvement in clear seawater is better than that in pure seawater but lower than that in coastal water.

Key words: UUV, optical wireless communication, DRL, trajectory planning

中图分类号: 

No Suggested Reading articles found!