多智能体系统（multi-agent system，MAS）可以描述一组系统的集体行为，并且有很多重要的应用^[1,2,3]。近些年涌现了大量关于MAS问题的研究^[4,5,6,7,8]。其中，输出同步问题是 MAS 的一个基本问题。在很多实际应用中，每个智能体的动态和维度可能是不同的，因此，研究异构 MAS 的输出同步是十分重要的^[9]。

目前，已经有许多关于异构 MAS 输出同步问题的分布式控制器设计方法的研究^[10,11,12]。大部分控制器设计方法需要求解 MAS 的输出调节方程，并且不可避免地需要系统模型信息。参考文献[11]基于内模原理提出了一种统一的方法来解决异构MAS的输出群同步问题。参考文献[12]通过设计分布式观测器研究了离散MAS的协同输出调节问题。参考文献[11-12]都是基于系统模型得到的结果。然而，在许多实际应用中是无法获取 MAS 的精确模型的。因此，已有的分布式控制方法不能应用于这些系统模型未知的情况。

强化学习起源于“试错学习”，强调使用基于环境的反馈修改行为，它由英国生物和心理学家Conway Morgan正式提出^[13]。随后，Werbos P J将强化学习用于求解单系统的最优调节问题^[14,15]。由于强化学习可以利用系统数据迭代求解最优控制问题，它也被广泛应用于求解MAS问题^[7,16,17]。例如，参考文献[16]利用离策略强化学习算法求解MAS的最优输出同步问题。

作为强化学习的一种，Q学习可以利用系统状态和控制信息求解最优控制问题^[18,19]。因此，可以借助系统数据，利用Q学习求解异构MAS的输出同步问题。参考文献[19]通过Q学习算法求取离散时间异构MAS的最优分布式控制策略。

对于大多数求解异构 MAS 输出同步问题的强化学习算法，其价值函数由追踪误差和智能体本身的控制输入组成^[16,17,19]。这样的价值函数虽然能在一定程度上减少控制成本，但是没有考虑 MAS 拓扑结构对价值函数的影响，即没有考虑邻居智能体对智能体本身的影响。因此需要定义一个包含邻居控制输入信息的性能指标和价值函数，从而减少每个智能体的控制成本。

基于以上讨论，在价值函数中考虑异构 MAS的拓扑信息，并借助系统数据，使用强化学习方法求解异构 MAS 的输出同步问题是十分迫切的。因此，本文定义了一个含有邻居控制输入信息的性能指标，然后基于强化学习中的Q学习提出一个求解MAS控制器的强化学习算法。

本节首先描述图理论和 MAS 的连接拓扑，然后阐述MAS的输出同步问题。

一般来说，MAS 的连接拓扑可以用图理论描述。构成图$\mathfrak{S}=(\mathcal{V},\mathcal{E},\mathcal{A})$的3个要素分别是节点集$\mathcal{V}=\{1,\cdots ,N\}$、边 集 $\mathcal{E}\in \mathcal{V}\times \mathcal{V}$ 和 邻 接 矩 阵$\mathcal{A}=[a_{ij}],i,j=1,\dots ,N$ 。图$\mathfrak{S}$的边由v_ij =(j,i)表示，意味着信息由节点 j 流向节点i。如果$v_{ij}\in \mathcal{E}$，则a_ij >0，否则a_ij =0。除此之外，节点i的邻居集定义为${\mathcal{N}}_i=\left\{j\right|v_{ij}\in \mathcal{E}\}$。图$\mathfrak{S}$的度矩阵$\mathcal{D}$ 定义为$\mathcal{D}=\text{diag}\left\{d_i\right\}$ ,$d_i={\displaystyle \sum _{j=1}^N{a}_{ij}}$ 。由此可得图$\mathfrak{S}$的拉普拉斯（Laplacian）矩阵$\mathcal{L}=\mathcal{D}-\mathcal{A}$。

如果 MAS 存在领导者，并且每个智能体都可以直接或间接获得领导者的信息，那么图$\mathfrak{S}$包含了一个生成树。如果领导者直接连接到节点i上，那么牵引增益g_i =1，否则g_i =0。图$\mathfrak{S}$的牵引矩阵为$\mathcal{G}=\mathrm{diag}\left\{g_i\right\},i=1,\dots ,N$ 。

考虑如下线性离散时间异构MAS：

其中，N代表智能体的个数，$x_i(k)\in {ℝ}^{n_i}$ 、 $u_i(k)\in {ℝ}^{m_i}$和$y_i(k)\in {ℝ}^q$分别代表智能体i的系统状态、控制输入（即分布式控制器）和输出，n_i、m_i、q分别表示$x_i$、$u_i$、$y_i$的维度。系统矩阵$A_i\in {ℝ}^{n_i\times n_i}$ 、 $B_i\in {ℝ}^{n_i\times m_i}$ 、$C_i\in {ℝ}^{q\times n_i}$ 是时不变的。同时，假设$(A_i,B_i)$是可控的。

领导者的动态表示如下：

其中， $x_0(k)\in {ℝ}^p$ 和 $y_0(k)\in {ℝ}^q$ 表示领导者的系统状态和输出，p 表示 $x_0$ 的维度。系统矩阵$A_0\in {ℝ}^{p\times p}$ 、$C_0\in {ℝ}^{q\times p}$ 。

根据式（2）和图$\mathfrak{S}$，给出MAS输出同步问题的通用假设^[20]，具体如下。

假设 1：领导者的所有特征值都在单位圆上，并且不重复。

假设2：图$\mathfrak{S}$存在生成树。

对于线性离散时间异构MAS，输出同步问题就是设计一个分布式控制器$u_i(k)$，使所有智能体的输出$y_i(k)$和领导者的输出$y_0(k)$达到同步。追踪误差$e_i(k),i=1,\dots ,N$ 定义为：

并且追踪误差需要满足：

在第3.1节定义了一个具有邻居控制输入的性能指标和价值函数，根据定义的价值函数得到MAS的贝尔曼（Bellman）方程。基于Bellman最优原则，得到一个基于系统模型的最优控制表达式。为了在系统模型未知的情况下也可以控制MAS达到同步，在第3.2节基于强化学习中的Q学习提出了一个求解MAS控制器的强化学习算法。

根据式（3）和式（4），定义需要最小化的性能指标：

其中，λ为折扣因子， $W_i\in {ℝ}^{q\times q}$ 、$R_i\in {ℝ}^{m_i\times m_i}>0$ 、$R_{ij}\in {ℝ}^{m_j\times m_j}\ge 0$为对称矩阵。由式（5）可知，智能体i的追踪性能不仅取决于其追踪误差和控制输入信息，还取决于与其相连的邻居智能体j的输入信息，这与 MAS 的拓扑结构相关。因此，最小化性能指标可以减少每个智能体的控制成本，并完成 MAS 的共同任务——输出同步。

基于式（5），如果控制策略$u_i$是可允许的（即控制策略 $u_i$是可以得到并输入系统的），则每个智能体的价值函数可以定义为：

定义增广状态$X_i(k)=[x_i(k){}^{\top },x_0(k){}^{\top }]{}^{\top }\in {ℝ}^{n_i+p}$、 $Y_i(k)=[y_i(k){}^{\top },y_0(k){}^{\top }]{}^{\top }\in {ℝ}^{2q}$。根据式（1）和式（2），相应的增广系统为：

其中，系统矩阵 ${\overline{A}}_i=\left[\begin{array}{cc}{A}_i& 0\\ 0& A_0\end{array}\right]\in ℝ{}^{(n_i+p)\times (n_i+p)}$ 、${\overline{B}}_i=\left[\begin{array}{c}{B}_i\\ 0\end{array}\right]\in ℝ{}^{(n_i+p)\times m_i}$ 、 ${\overline{C}}_i=\left[\begin{array}{cc}{C}_i& 0\\ 0& C_0\end{array}\right]\in ℝ{}^{2q\times (n_i+p)}$ 。

根据增广状态$X_i(k)$，价值函数可写为：

其中，${\overline{W}}_i=\left[\begin{array}{cc}{C}_i^{\top }{W}_i{C}_i& -C_i^{\top }{W}_i{C}_0\\ -C_0{}^{\top }{W}_i{C}_i& C_0{}^{\top }{W}_i{C}_0\end{array}\right]\in {ℝ}^{(n_i+p)\times (n_i+p)}$ 。

注释1：不同于已有的研究异构MAS输出同步问题的文章（如参考文献[16-17,19]），本文的价值函数包含邻居智能体 $j(j\in {\mathcal{N}}_i)$的控制输入$u_j$和邻居控制权重矩阵$R_{ij}$。可以通过调节$R_{ij}$来调节$u_j$在价值函数中的占比。因此，本文可以在减少自身控制成本的同时，减少邻居智能体的控制成本。

对于由线性系统（式（1））和二次价值函数（式（8））构成的线性二次追踪问题，其价值函数在状态上是二次的。此外，因为价值函数（式（8））考虑了邻居智能体的控制输入，所以智能体i的价值函数与由自身状态和邻居状态构成的二次型函数近似。因此，价值函数（式（8））可以近似表示为如下二次型形式：

其中， $P_i=\left[\begin{array}{cc}{P}_i^{11}& P_i^{12}\\ P_i^{21}& P_i^{22}\end{array}\right]=P_i{}^{\top }>0$ 且 $P_i^{11}\in {ℝ}^{(n_i+p)\times (n_i+p)}$ 、$P_i^{12}\in {ℝ}^{(n_i+p)\times {\displaystyle \sum _{j\in {\mathcal{N}}_i}(n_j+p)}}$ 、 $P_i^{21}\in {ℝ}^{{\displaystyle \sum _{j\in {\mathcal{N}}_i}(n_j+p)}\times (n_i+p)}$ 、$P_i^{22}\in {ℝ}^{{\displaystyle \sum _{j\in {\mathcal{N}}_i}(n_j+p)}\times {\displaystyle \sum _{j\in {\mathcal{N}}_i}(n_j+p)}}$。注意矩阵$P_i$ 是构成价值函数V_i(k)二次型形式的内核矩阵，下一节将用矩阵$P_i$推导出MAS的Q学习算法。

结合Bellman原则，可以得到MAS的Bellman方程：

根据 Bellman 最优原则，可以得到 MAS 的Bellman最优方程：

相应的最优控制为：

为了求得最优控制的具体表达式，将价值函数的二次型形式（式（9））代入式（10），得到：

由此定义相应的哈密尔顿（Hamiltonian）函数H_i(k)为：

将式（7）代入式（14），通过

可以求得最优控制的具体表达式为：

其中，${\overline{K}}_i{}^{}$、${\overline{K}}_i{}^1$、${\overline{K}}_i{}^2$、${\overline{K}}_i{}^3$分别为控制器的控制增益

并且$P_i$满足式（13）。

由式（17）可知，所获得的控制器是基于系统模型$(A_i,B_i,C_i)$的，它无法在系统模型未知的情况下完成 MAS 的输出同步控制。因此，下一节将给出一个基于数据的强化学习算法，通过该算法进一步求解MAS的输出同步问题。

在第3.1节针对模型已知的情况给出了一个需要系统模型的控制器。但是，在一些实际系统中，被控MAS 的精确模型是无法获取的。为了提高系统的适应性和学习性，本节提出了一个基于系统数据的Q学习算法，通过该算法求解MAS的同步控制器。

根据Bellman式（式（10）），定义MAS的Q函数为：

结合增广系统（式（7））和价值函数（式（9）），式（18）的Q函数变为：

其中， $s_i(k)={\left[\begin{array}{cccc}{u}_i^{\top }(k)& X_i^{\top }(k)& {\displaystyle \sum _{j\in {\mathcal{N}}_i}{X}_j{}^{\top }(k)}& {\displaystyle \sum _{j\in {\mathcal{N}}_i}{u}_j{}^{\top }(k)}\end{array}\right]}^{\top }$Xj 、$U_i=\left[\begin{array}{cccc}{\overline{B}}_i& {\overline{A}}_i& 0& 0\\ 0& 0& {\displaystyle \sum _{j\in {\mathcal{N}}_i}{\overline{A}}_j}& {\displaystyle \sum _{j\in {\mathcal{N}}_i}{\overline{B}}_j}\end{array}\right]$ 、$E_i=\left[\begin{array}{cccc}{R}_i& 0& 0& 0\\ *& {\overline{W}}_i& 0& 0\\ *& *& 0& 0\\ *& *& *& {\displaystyle \sum _{j\in {\mathcal{N}}_i}{R}_{ij}}\end{array}\right]$ +$\lambda U_i{}^{\top }{p}_i{U}_i=\left[\begin{array}{cccc}{E}_{uu}^i& E_{uX}^i& E_{u\backslash X}^i& E_{u\backslash u}^i\\ *& E_{XX}^i& E_{X\backslash X}^i& E_{X\backslash u}^i\\ *& *& E_{\backslash X\backslash X}^i& E_{\backslash X\backslash u}^i\\ *& *& \text{*}& E_{\backslash u\backslash u}^i\end{array}\right]$ 。

然后根据

得到控制器：

根据式（21），要想得到控制器$u_i(k)$，就要先求矩阵$E_i$。因为

所以Q函数的Bellman方程为：

根据式（19），式（23）变为：

由此，可以通过式（24）求得矩阵$E_i$，进而求得控制器（式（21））。然而，此时求得的控制器要求每个智能体都能知道领导者的信息$x_0(k)$，这在不同的拓扑结构下是无法保证的，因此需要引入一个分布式观测器$x_0(k)$：

其中，c是一个正常数，$M$是一个待设计的矩阵。通过观测器，未被牵引到领导者的智能体i也可以获得领导者的估计信息。

定义观测误差 ${\tilde{x}}^i{}_0(k)=x^i{}_0(k)-x_0(k)$ ，所以

基于式（26），$s_i(k)$和${\eta }_i(k)$可以改写为：

需要说明的是，本文引入的观测器（式（25））在参考文献[19]中已有研究。考虑到篇幅的限制，笔者进行了简要的描述。根据参考文献[19]，观测误差${\tilde{x}}^i{}_0(k)$是稳定的，因此当k→∞时，${\tilde{X}}_i(k)\to 0$。

结合式（21）、式（24）及式（26）~（28），可用如下基于Q学习的强化学习算法求解MAS同步控制器。

算法1 基于Q学习的强化学习算法

步骤1：初始化。设置迭代数l=0，选择任意的控制策略$u_i{}^0(k),i=1,\dots ,N$ 。

步骤2：价值更新。

步骤3：策略提升。

步骤4：判断终止条件。设ε是一个小的正值，如果 $|(K_i){}^{l+1}-(K_i){}^l|\le \epsilon$，停止迭代，否则l=l+1，并跳转到步骤2。

注释2：从算法1可以看出，式（30）基于系统数据求解异构 MAS 的输出同步问题。因此，本文通过强化学习中的 Q 学习克服了已有研究需要系统模型的弊端^[12,13]。

本节给出一个仿真示例来验证所提方法的有效性。对于线性离散时间异构MAS（式（1）），N=3，其中，

对于领导者动态（式（2）），其中，

从式（31）和式（32）可以看出，系统动态矩阵$A_i,i=1,\dots ,N$和领导者动态矩阵$A_0$的维度和数值是不同的，因此可以通过上述示例验证异构MAS的输出同步问题。MAS的有向拓扑如图1所示。

从以上描述可知，n₁ =1、n₂=n₃ = 2、q =1、m ₁=m₂ =m₃=1、p=2，则由图1可知，$\mathcal{A}=\left[\begin{array}{ccc}0& 0& 1\\ 1& 0& 0\\ 0& 1& 0\end{array}\right]$ 、$\mathcal{D}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 1\end{array}\right]$、$\mathcal{G}=\left[\begin{array}{ccc}1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$。

式（15）中参数如下：λ=0.9、$R_i=10$、$W_i=40$, $i=1,\cdots ,N$ 、$R_{13}=10$ 、$R_{21}=10$、$R_{32}=10$。

基于以上信息，通过算法1可以获得系统的控制律。图2和图3分别是控制律作用于系统上的输出和跟踪误差。最终，智能体的输出$y_i(k),i=1,\dots ,N$追踪到了领导者的输出$y_0(k)$，跟踪误差趋于0，从而解决了异构 MAS 的输出同步问题，验证了本文方法的有效性。

为了进一步验证注释 1，选取$R_{13}=0.01$、$R_{21}=0.01$、$R_{32}=0.01$，即智能体i的价值函数中几乎没有邻居智能体的输入。图4，图5，图6展示了MAS控制过程中不同$R_{ij},j\in {\mathcal{N}}_i$ 下控制输入的变化。

由图4，图5，图6可知，小权重$R_{ij}=0.01$对应大的控制输入幅值，大权重$R_{ij}=10$对应小的控制输入幅值。因此，可以通过调节$R_{ij}$减少每个智能体的控制成本，从而验证了本文定义的具有邻居控制输入的性能指标和价值函数的优越性。

本文研究了异构MAS的输出同步问题。首先，通过定义一个具有邻居控制输入的性能指标和价值函数，得到MAS的Bellman方程；然后，根据最优原则得到基于模型的 MAS 输出同步问题的控制器；为了使控制器也可以应用于模型未知的情况，提出一种基于Q学习的强化学习算法；最后，给出一个仿真示例，并验证了本文方法的有效性。通过调节权重矩阵，体现了本文定义的价值函数的优越性。