随着机器人技术和传感器、控制、导航等相关技术的迅速发展，自主式水下航行器（autonomous underwater vehicle，AUV）在水下探测、搜救、检测等领域得到了广泛的应用。传统的 AUV 运动控制需要建立一个精确的 AUV 模型，控制质量与模型精度密切相关。而 AUV 是一个典型的多变量、强耦合的非线性系统，其参数和模型具有不确定性。这些不确定性给水下机器人的运动控制带来了巨大挑战。针对这种复杂环境下 AUV 的决策与控制问题，机器学习（machine learning，ML）提供了一种有效的解决方案。作为一种最基本的ML方法，监督学习的方法可以通过 AUV 运动数据训练神经网络，从而对模型误差和不确定性进行自适应补偿，实现AUV的高精度运动控制^[1]。

强化学习是更有效的ML方法^[2]。强化学习算法不需要系统模型信息以及人为设计控制律，而是通过设置奖励函数让机器人自己探索、学习有用的控制策略。对于一个不断与环境进行交互的机器人来说，强化学习将系统实时状态和动作映射为奖励函数，机器人依靠现有数据寻找可以产生最大回报的动作，从而提高机器人在不确定场景中的智能性。例如，在西洋双陆棋比赛中，使用强化学习算法训练的机器人击败了世界冠军^[3]，而且，强化学习算法训练的智能体在雅达利游戏公司出品的多种游戏中的表现超过了人类的水平^[4]。

2013年，DeepMind公司提出了深度Q学习网络（deep Q-learning network，DQN）算法，这种将强化学习与深度神经网络结合的算法叫作深度强化学习（deep reinforcement learning，DRL）算法^[4]。在系统模型未知的情况下，智能体通过设置的奖励函数来学习探索更好的控制策略，并利用深度神经网络估计强化学习评价指标和拟合当前的控制策略。当控制器训练好时，因为神经网络前向传播的计算速度极快，能很快地实现输入状态和控制输入之间端到端的解算，控制的实时性能得到保障。在2016年和2017年，AlphaGo使用DRL算法连续两年击败围棋世界冠军，引起了社会轰动^[5]。目前， DRL算法发展迅速，对于提高机器人的自主性和智能性具有十分重要的意义。本文旨在研究一种DRL算法来解决AUV的深度控制问题。

由于 AUV 是一个连续时间系统，其控制行为有无限种选择，而经典的强化学习（reinforcement learning，RL）算法主要针对状态或控制空间有限的离散情况，因此，无法直接控制 AUV 运动。为了解决这个问题，Silver D等人^[6]提出确定性策略梯度（deterministic policy gradient，DPG）算法，解决了在随机策略梯度下具有大动作空间的智能体采样数多的问题，使得通过RL算法控制连续时间系统成为可能。在2016年国际学习表征会议（ICLR）上，Lillicrap T P等人^[7]将深度神经网络与DPG结合，提出了深度确定性策略梯度（deep deterministic policy gradient，DDPG），并将其应用于简单的连续系统控制。而苏黎世 ETH 机器人实验室成功地将DRL算法应用于腿部机器人的运动控制^[8]。

AUV在执行任务时，一般要求在固定的深度保持稳定的运动，因此深度控制是 AUV 的基本控制目标。本文的目的是探索一种更加先进的 AUV 深度控制方法，解决 AUV 模型的不确定性和非线性给控制带来的难题，并提高 AUV 的控制性能；仅依靠训练得到的与周围环境的交互数据，设计DRL算法，从而实现AUV的深度控制。

由于AUV的深度控制主要是在垂直面实现的，因此本文仅考虑其在铅垂平面内的运动方程。地面坐标系与体坐标系下的 AUV 如图1 所示，oxy与$o_b{x}^{\prime }{y}^{\prime }$为地面坐标系，$o_b{x}_b{y}_b$ 为体坐标系；水平舵角δ_e为控制输入；$[x,y,\theta ]{}^{\top }$ 为控制输出，其中$[x,y]{}^{\top }$与θ分别为AUV在垂直面的位置与俯仰角。

AUV在垂直面的二维运动模型如下^[9]：

其中$\eta =-m{v}_x{\omega }_z+\frac{1}{2}\rho v^{2}S{C}_y-\Delta G\cos \theta$ ，$C_y=C_y^{\alpha }\alpha +C_y^{{\delta }_e}{\delta }_e+C_y^{{\varpi }_z}{\varpi }_z$ ，$v\text{=}\sqrt{v_x{}^2+v_y{}^2}$ ，$\mu =(-m{x}_c{v}_x{\omega }_z+G(y_c\sin \theta -x_c\cos \theta )+\frac{1}{2}\rho v^{2}SL{m}_z)$ ，$m_{11}=m+{\lambda }_{11}$，$m_{22}=m+{\lambda }_{22}$，$m_{26}=m{x}_c+{\lambda }_{26}$，$m_z=m_y^{\alpha }\alpha +m_y^{{\delta }_e}{\delta }_e+m_y^{{\varpi }_z}{\varpi }_z$。m是AUV的质量；G是AUV的重力；λ₁₁、λ₂₂、λ₂₆、λ₆₆是与流体动力学有关的附加质量；x_c、y_c是AUV重心到浮力中心的距离在x轴和y轴上的分量；T是由螺旋桨提供的推力；C_xS是AUV的阻力系数，该数值与 AUV 的最大横截面积S、速度v和水的密度ρ有关；ΔG是AUV的负浮力，即重力与浮力之差；J _zz是AUV绕z轴旋转的转动惯量；v_x与v_y分别是AUV在x轴与y轴上的速度分量，w_z 是 AUV 的俯仰角速度。此外，攻角$\alpha =-\arctan (v_y/v_x)$；无量纲角速度${\varpi }_z=w_{z}L/v$， L是AUV的长度。$C_y^{\alpha }$与$C_y^{{\delta }_e}$分别是AUV的升力因数对攻角α、水平舵角δ_e的位置导数；$C_y^{{\varpi }_z}$ 是升力因数对角速度${\varpi }_z$的旋转导数。相应地，$m_y^{\alpha }$、$m_y^{{\delta }_e}$与$m_y^{{\varpi }_z}$是偏航力矩因数对α、δ_e以及${\varpi }_z$的导数。

对于给定的控制输入δ_e，通过式（1）中的运动模型即可求得AUV的状态$s=[x,y,z,v_x,v_y,w_z]{}^{\top }$ 。

强化学习是一种机器学习方法，主要解决序列决策的问题。强化学习的基本框架如图2所示，当智能体给出一个具体动作a_t时，环境更新智能体的状态$s_t$，同时给智能体返回奖励r_t。这里，当t→∞时，定义智能体的累积奖励为：

其中，γ∈(0,1)为折扣因子，保证G是收敛的。

强化学习理论推导是在马尔可夫决策模型下进行的，如果一个系统满足马尔可夫性，则系统将来时刻状态只与当前时刻状态有关，与过去时刻状态无关。

马尔可夫决策过程是在马尔可夫过程中加入了决策部分，假设有智能体与环境从1到T时刻的交互序列：

定义随机策略函数${\pi }_{\theta }(a_t|s_t)=P[a_t|s_t]$，表示在状态$s_t$下智能体采用动作a_t的概率。设系统模型为$p(s_{t+1}|s_t,a_t)$，表示在当前状态下采用动作a_t到下一个状态的概率。其整个马尔可夫决策过程链为：

在该交互序列下，强化学习的目标是找到使回报最大的策略参数：

其优化目标为$J(\theta )=E_{\tau \text{~}{p}_{\theta }(\tau )}\left[{\displaystyle \sum _{t=1}^T{\gamma }^{t}r(s_t,a_t)}\right]$ 。

采用梯度下降法求最优参数：

其中，α为优化步长。

对优化目标求梯度：

将其化简为：

从式（9）可知，对策略进行优化是对策略进行梯度求解。其中，将式（9）后的半部分定义为强化学习状态值函数：

深度前馈神经网络是典型的深度学习模型。前馈神经网络定义了一个映射y=g(x;ς)，通过学习的方法选择最佳参数ς，使得函数g(⋅)可以拟合函数y= f(x)。

深度前馈神经网络的结构如图3所示。第一部分是神经网络的输入层，中间的隐藏层通常有多层结构，最后一部分是输出层，用于输出函数值。${\varsigma }_{ij}^{(1)}$与${\varsigma }_{ij}^{(2)}$是神经网络的参数，通过训练这些参数获得函数的近似值。这个典型的神经网络是一个线性模型，需要对其进行去线性化处理，以便更好地近似非线性函数。常见的去线性化方法是在每个神经元的输出端添加非线性函数，使神经网络变为非线性的，添加的函数被称为激活函数。深度学习中常用的激活函数包括ReLU函数、sigmoid函数和tanh函数。

深度前馈神经网络得到的近似函数g(⋅)的精确度可用损失函数L(g(x;ς),y)表示，其中，g(x;ς)为神经网络的估计值，y为真实值。损失函数表示估计值和真实值之间的差异。深度学习中损失函数通常为交叉熵或其他特定函数。选定损失函数后，需要通过最小化损失函数来优化参数ς^[10]：

求解优化问题时常用的一种深度学习算法是ADAM（adaptive moment estimation）算法^[11]，如下所示。

算法1 ADAM算法

步骤1：初始化步长参数ε；

步骤2：设定指数衰减速率β₁、β₂∈[0,1)；

步骤3：初始化常数l=10^-8；

步骤4：设定参数ς、s=0以及r=0、t=0；

步骤5：计算梯度$g={\nabla }_{\varsigma }L(g(x;\varsigma ),y)$；

步骤6：t=t+1；

步骤7：$s={\beta }_{1}s+(1-{\beta }_1)g$；

步骤8：$r={\beta }_{2}s+(1-{\beta }_2)g\odot g$；

步骤9：$\widehat{s}=s/(1-{\beta }_1{}^t)$；

步骤10：$\widehat{r}=r/(1-{\beta }_2{}^t)$；

步骤11：$\varsigma =\varsigma -\epsilon \widehat{s}/(\sqrt{\widehat{r}}+l)$；

步骤12：If $\Vert \epsilon \widehat{s}/(\sqrt{\widehat{r}}+l)\Vert \le {10}^{-8}$

步骤13：输出ς；

步骤14：else

步骤15：返回步骤5；

步骤16：end

在本文中，笔者利用actor-critic深度神经网络来实现强化学习算法^[2]，其中状态值函数$Q_{\pi }(s_t,a_t)$与策略函数$\pi (a_t|s_t)$分别用critic和actor神经网络进行估计。通过 critic 神经网络估计状态值函数$Q_{\pi }(s_t,a_t)$，可以得到：

其中，ω为 critic 神经网络参数。通过式（12）可以得到：

为了求得状态值函数$Q_{\pi }(s_t,a_t)$在t时刻的最优估计，设计损失函数^[7]：

根据式（11），将Q_q定义为：

其中，Q′和π′为目标神经网络，其作用为稳定学习过程。目标神经网络参数θ′与ω′更新方式如下^[12]：

其中，τ的取值远小于 1，以保证目标神经网络的稳定性。

利用一组N个数据对 critic 神经网络进行训练，求得其平均损失函数为：

对其求梯度为：

通过ADAM算法对式（18）的梯度进行计算，利用学习到的参数ω^*对状态值函数$Q_{\pi }(s_t,a_t)$进行估计。基于估计的状态值函数$Q(s_t,a_t;{\omega }^{\text{*}})$对策略进行评估。

与随机策略梯度不同，在确定性策略梯度中，动作a_t在状态$s_t$确定时就确定了。利用 actor 神经网络${\pi }_{\theta }(s_t)$对确定性策略$\pi (s_t)$ 进行估计^[13]，将最优策略求解转化为对actor神经网络参数θ的优化，以达到奖励函数最大化的目的，即

其中：

根据式（19）和式（20），可以得到优化目标：

其中，ρ(τ)为系统状态分布，计算式如下：

对优化目标求梯度：

该算法为离线迭代算法，通过 AUV 运动数据对其进行训练。利用一组N个数据对actor神经网络进行训练，利用蒙特卡洛方法对期望进行估计可以得到梯度：

最后，利用 ADAM 算法对梯度进行计算，得到最优参数θ^*。

当对critic和actor神经网络进行训练时，一般假设训练数据是独立不相关的。但是机器人探索得到的数据是有相关性的，这会导致神经网络的训练效果不佳。可以通过建立一个回放记忆单元解决这一问题，将机器人探索得到的数据存入回放记忆单元中，在训练时随机从回放记忆单元中提取一组数据，以打破数据的相关性^[12]。DDPG算法如下^[7]。

算法2 DDPG算法

步骤 1：初始化 critic 神经网络$Q(s_t,a_t;\omega )$与actor神经网络${\pi }_{\theta }(s_t)$；

步骤2：初始化目标神经网络参数θ′与ω′，令t=0，i=0；

步骤3：初始化回放记忆单元；

步骤4：for i≤ 2 000

步骤5：初始化状态$s_0$；

步骤6：for t≤ 1 000

步骤7：t=t+1；

步骤8：$Q_q=r_t+\gamma Q^{\prime }(s_{t+1},{\pi }^{\prime }(s_{t+1};{\theta }^{\prime });{\omega }^{\prime })$ ；

步骤9：$L=(Q_q-Q(s_t,a_t;\omega )){}^2$；

步骤10：计算平均损失函数$\overline{L}$及其梯度$\nabla {}_{\omega }\overline{L}$；

步骤11：用ADAM算法更新ω；

步骤12：$J(\theta )=E_{\tau ~\rho (\tau )}[Q(s_t,a_t;\omega ){|}_{a_t={\pi }_{\theta }(s_t)}]$ ；

步骤13：对其求梯度∇_θJ(θ)；

步骤14：用ADAM算法更新θ；

步骤15：更新目标神经网络；

步骤16：${\theta }^{\prime }\leftarrow \tau \theta +(1-\tau ){\theta }^{\prime }$；

步骤17：${\omega }^{\prime }\leftarrow \tau \omega +(1-\tau ){\omega }^{\prime }$；

步骤18：end

步骤19：i=i+1；

步骤20：end

利用 DRL 算法对 AUV 进行定深控制需要AUV 对环境进行探索学习。考虑到在真实环境中AUV获取大量数据的费用是昂贵的，因此利用式（1）中的AUV模型来获取训练数据。

定义$s_t=[x(t),y(t),z(t),v_x(t),v_y(t),w_z(t)]{}^{\top }$为AUV在时刻t的状态；${\delta }_e(t)=K(s_t)$为控制输入。对于RL算法来说，上述控制输入为当前时刻AUV的动作，即$a_t={\delta }_e(t)$。

定深控制的定义是通过控制输入将 AUV 保持在预定深度y_d运动。为了解决强化学习中的稀疏奖励和奖励延迟问题，根据 AUV 定深控制的运动特性设计了一个分段式的奖励函数。

在第一个阶段，设计了如下奖励函数：

其中，c_y＞0、c_θ＞0、c_ω＞0，均为常数。其目的是鼓励 AUV 下潜到预定深度，并防止其俯仰角过大。

当AUV到达预定深度y_d的一定范围内时，将奖励函数切换为：

其中，c_r是一个常数。其目的是鼓励 AUV 保持在该深度运行。综合上述分析，奖励函数为：

将设计的奖励函数代入算法 2 中，利用 critic神经网络估计状态值函数：

通过训练actor神经网络得到最优策略${\pi }_{\theta }^{\text{*}}(s_t)$。此外，为了让AUV在训练过程中更好地探索环境，在动作中加入了随机噪声，即：

其中，υ是Ornstein-Uhlenbeck随机噪声^[14]。

为了训练神经网络，将下一时刻系统状态$s_{t\text{+}1}$、当前时刻状态$s_t$、动作a_t和奖励r_t组成一个元组$\langle s_{t+1},s_t,a_t,r_t\rangle$ ，将其按时序存入状态缓冲区，并用于训练神经网络。

基于深度强化学习的 AUV 定深控制系统如图4所示。其中，用于估计状态值函数的critic神经网络的输入为 $\langle s_t,a_t,r_t\rangle$，其输出为近似的状态值函数$Q(s_t,a_t;\omega )$，用于求解actor神经网络的损失函数。而训练好的actor神经网络的输入为AUV当前时刻的状态s_t，输出为定深控制动作。

在本节中，笔者用仿真实验验证算法的有效性。仿真平台为OpenAI Gym平台，利用第2节的AUV运动模型建立仿真模型，如图5所示。

初始化奖励函数参数c_y=1、c_θ=4、c_ω=2、c_r=5。通过 TensorFlow 搭建深度神经网络^[15]，其中critic神经网络由5个全连接层组成，隐藏层每层节点数为 32 个，除输出层外，在其他 4 层加入ReLU激活函数^[16]。actor神经网络由4个全连接层组成，隐藏层每层节点数为16个，除了输出层外，在其他3层加入ReLU激活函数，输出层使用tanh激活函数对输出进行[-1,1]的归一化。

在训练初期，AUV先进行自由探索，将数据存入回放记忆单元中。当回放记忆单元存满后，通过随机采样的方式抽取一组 64 个数据对神经网络进行训练。critic神经网络训练的学习率为0.001，actor神经网络的学习率为0.000 1。在对两个神经网络进行更新后，通过式（16）对目标神经网络进行更新，其中更新参数 t=0.001。最后，利用训练后的 actor神经网络与环境进行交互，将得到的数据用于更新数据集。在整个学习过程中重复上述步骤，直到奖励函数收敛。平均奖励值随训练幕数的变化如图6所示，由图6可知，在经过1 000幕的训练后，每一幕的平均奖励函数得到了收敛。AUV定深运动的轨迹如图7所示。

假设AUV的预定深度y_d= -5 m，图6和图7显示，经过2 000幕的训练后，由actor神经网络控制AUV定深运动的轨迹。这表示经过训练的actor神经网络可以控制 AUV 高精度下潜到预定深度，并保持在预定深度运动。如图8所示，与另一种不需要模型信息的PID控制算法相比，DDPG算法有更高的控制精度。

本文将DRL算法应用于AUV的定深控制，不依赖于 AUV 的系统建模和控制律设计。通过设计合理的奖励函数引导 AUV 探索学习定深控制律。仿真实验证明了该方法的可行性，比起传统无模型PID控制算法，其具有更高的精度。在未来的研究中可以着重研究提高算法学习速率和学习效率的方法和向实际系统迁移的可能性。