基于深度强化学习算法的自主式水下航行器深度控制

doi:10.11959/j.issn.2096-6652.202038

智能科学与技术学报 ›› 2020, Vol. 2 ›› Issue (4): 354-360.doi: 10.11959/j.issn.2096-6652.202038

基于深度强化学习算法的自主式水下航行器深度控制

王日中, 李慧平, 崔迪, 徐德民

西北工业大学航海学院，陕西西安 710072

修回日期:2020-11-30 出版日期:2020-12-15 发布日期:2020-12-01
作者简介:王日中（1995- ），男，西北工业大学航海学院博士生，主要研究方向为多机器人协同、强化学习。
李慧平（1983- ），男，博士，西北工业大学航海学院教授，博士生导师，主要研究方向为水下机器人导航定位、智能决策与优化控制、模型预测控制、多机器人协同。
崔迪（1995- ），女，西北工业大学航海学院博士生，主要研究方向为事件触发控制、模型预测控制。
徐德民（1937- ），男，中国工程院院士，西北工业大学航海学院教授，博士生导师，主要研究方向为水下航行器总体设计、导航制导与控制。
基金资助:
国家自然科学基金资助项目(61922068);国家自然科学基金资助项目(61733014);陕西省杰出青年科学基金资助项目(2019JC-14);西北工业大学翱翔青年学者项目(20GH0201111)

Depth control of autonomous underwater vehicle using deep reinforcement learning

Rizhong WANG, Huiping LI, Di CUI, Demin XU

School of Marine Science and Technology, Northwestern Polytechnical University, Xi’an 710072, China

Revised:2020-11-30 Online:2020-12-15 Published:2020-12-01
Supported by:
The National Natural Science Foundation of China(61922068);The National Natural Science Foundation of China(61733014);The Science Foundation for Distinguished Young Scholars of Shaanxi Province(2019JC-14);Northwestern Polytechnical University Aoxiang Youth Scholar Program(20GH0201111)

摘要/Abstract

摘要：

研究了基于深度强化学习算法的自主式水下航行器（AUV）深度控制问题。区别于传统的控制算法，深度强化学习方法让航行器自主学习控制律，避免人工建立精确模型和设计控制律。采用深度确定性策略梯度方法设计了actor与critic两种神经网络。actor神经网络给出控制策略，critic神经网络用于评估该策略，AUV的深度控制可以通过训练这两个神经网络实现。在OpenAI Gym平台上仿真验证了算法的有效性。

关键词: 自主式水下航行器, 深度控制, 深度强化学习

Abstract:

The depth control problem of autonomous underwater vehicle (AUV) by using deep reinforcement learning method was mainly studied.Different from the traditional control algorithm, the deep reinforcement learning method allows the AUV to learn the control law independently, avoiding the artificial establishment of accurate model and design control law.The deep deterministic policy gradient method was used to design two neural networks: actor and critic.Actor neural network enabled agents to make corresponding control actions.Critic neural network was used to estimate the action-value function in reinforcement learning.The AUV depth control was conducted by training of actor and critic neural networks.The effectiveness of the algorithm was proved by simulation on OpenAI Gym.

Key words: autonomous underwater vehicle, depth control, deep reinforcement learning

中图分类号:

TP242.6

王日中, 李慧平, 崔迪, 等. 基于深度强化学习算法的自主式水下航行器深度控制[J]. 智能科学与技术学报, 2020, 2(4): 354-360.

Rizhong WANG, Huiping LI, Di CUI, et al. Depth control of autonomous underwater vehicle using deep reinforcement learning[J]. Chinese Journal of Intelligent Science and Technology, 2020, 2(4): 354-360.

图/表 8

图1

图2

图3

图4

图5

图6

图7

图8

参考文献 16

[1]	ZHANG L J , QI X , PANG Y J . Adaptive output feedback control based on DRFNN for AUV[J]. Ocean Engineering, 2009,36(9-10): 716-722.
[2]	SUTTON R , BARTO A . Reinforcement learning:an introduction[M]. Cambridge: MIT Press, 1998.
[3]	TESAURO G . TD-Gammon,a self-teaching backgammon program,achieves master-level play[J]. Neural Computation, 1944,6(2): 215-219.
[4]	MNIH V , KAVUKCUOGLU K , SILVER D ,et al. Playing atari with deep reinforcement learning[J]. Computer Science, 2013.
[5]	SILVER D , HUANG A , MADDISON C J ,et al. Mastering the game of go with deep neural networks and tree search[J]. Nature, 2016,529(7587): 484-489.
[6]	SILVER D , TECHNOLOGIES D , LEVER G ,et al. Deterministic policy gradient algorithms[C]// International Conference on Machine Learning. New York:ACM Press, 2014.
[7]	LILLICRAP T P , HUNT J J , PRITZEL A ,et al. Continuous control with deep reinforcement learning[J]. Computer Science, 2015,6(6): A187.
[8]	HWANGBO J , LEE J , DOSOVITSKIY A ,et al. Learning agile and dynamic motor skills for legged robots[J]. Science Robotics, 2019,4(26).
[9]	严卫生 . 鱼雷航行力学[M]. 西安: 西北工业大学出版社, 2005.
	YAN W S . Torpedo navigation mechanics[M]. Xi’an: Northwestern Polytechnical University Press, 2005.
[10]	GOODFELLOW I , BENGIO Y , COURVILLE A . Deep learning[M]. Cambridge: MIT Press, 2016.
[11]	KINGMA D , BA J . ADAM:a method for stochastic optimization[J]. Computer Science, 2014.
[12]	MNIH V , KAVUKCUOGLU K , SILVER D ,et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518-529.
[13]	KONDA V , TSITSIKLIS J . Actor-critic algorithms[J]. In Advances in Neural Information Processing Systems, 2003: 1008-1014.
[14]	UHLENBECK G E , ORNSTEIN L S . On the theory of the Brownian motion[J]. Revista Latinoamericana De Microbiología, 1973,15(1): 29.
[15]	ABADI M , BARHAM P , CHEN P ,et al. TensorFlow:a system for large-scale machine learning[J]. Google Brain, 2016.
[16]	NAIR V , HINTON G . Rectified linear units improve restricted Boltzmann machines[C]// International Conference on Machine Learning.[S.l.:s.n.], 2010.

基于深度强化学习算法的自主式水下航行器深度控制

Depth control of autonomous underwater vehicle using deep reinforcement learning

在线阅读

PDF下载

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 16

相关文章 9

Metrics

推荐阅读 0

[1]	马帅, 傅启明, 陈建平, 冯帆, 陆悠, 李铮伟, 裘舒年. 基于双池DQN的HVAC无模型优化控制方法[J]. 智能科学与技术学报, 2022, 4(3): 426-444.
[2]	刘家成, 张向文. 基于TD3的电动汽车复合电源能量管理策略研究[J]. 智能科学与技术学报, 2022, 4(2): 277-287.
[3]	孙宇祥, 彭益辉, 李斌, 周佳炜, 张鑫磊, 周献中. 智能博弈综述：游戏AI对作战推演的启示[J]. 智能科学与技术学报, 2022, 4(2): 157-173.
[4]	冯埔, 吴文峻, 罗杰, 于鑫, 田雍恺. 基于群体熵的机器人群体智能汇聚度量[J]. 智能科学与技术学报, 2022, 4(1): 65-74.
[5]	胡志强. 大数据智能指挥控制内在机理框架模型研究[J]. 智能科学与技术学报, 2021, 3(1): 101-109.
[6]	刘朝阳, 穆朝絮, 孙长银. 深度强化学习算法与应用研究现状综述[J]. 智能科学与技术学报, 2020, 2(4): 314-326.
[7]	李涛, 魏庆来. 基于深度强化学习的智能暖气温度控制系统[J]. 智能科学与技术学报, 2020, 2(4): 348-353.
[8]	傅汇乔, 唐开强, 邓归洲, 王鑫鹏, 陈春林. 基于深度强化学习的六足机器人运动规划[J]. 智能科学与技术学报, 2020, 2(4): 361-371.
[9]	沈宇,韩金朋,李灵犀,王飞跃. 游戏智能中的AI——从多角色博弈到平行博弈[J]. 智能科学与技术学报, 2020, 2(3): 205-213.