一种基于最大相关熵和局部约束的协同表示分类器

doi:10.11959/j.issn.2096-6652.202134

一种基于最大相关熵和局部约束的协同表示分类器

余沁茹, 卢桂馥

安徽工程大学计算机与信息学院，安徽芜湖 241000

Collaborative representation based classifier with maximum correntropy criterion and locality constraint

YU Qinru, LU Guifu

School of Computer and Information, Anhui Polytechnic University, Wuhu 241000, China

通讯作者: 卢桂馥，luguifu_jsj@163.com

修回日期: 2021-07-19 网络出版日期: 2021-09-15

基金资助:

国家自然科学基金资助项目.  61976005
国家自然科学基金资助项目.  61772277
安徽省自然科学基金资助项目.  1908085MF183

Revised: 2021-07-19 Online: 2021-09-15

Fund supported:

The National Natural Science Foundation of China.  61976005
The National Natural Science Foundation of China.  61772277
The Natural Science Foundation of Anhui Province.  1908085MF183

作者简介 About authors

余沁茹（1997−），女，安徽工程大学计算机与信息学院硕士生，主要研究方向为图像处理。

卢桂馥（1976−），男，博士，安徽工程大学计算机与信息学院教授，主要研究方向为计算机图形学及图像处理。

摘要

提出一种基于最大相关熵和局部约束的协同表示分类器（CRC/MCCLC），该分类器能同时利用最大相关熵和局部信息。一方面，通过利用最大相关熵准则，CRC/MCCLC不仅在异常值处理上比L₁范数鲁棒性更高，还可以使用半二次优化技术进行更有效的计算；另一方面，CRC/MCCLC 通过使用局部信息得到近似稀疏表示，以此从训练样本中获得更多的判别信息。在 ORL、Yale 以及 AR 人脸数据集等图像数据集上的实验结果验证了CRC/MCCLC 方法的有效性。

关键词： 人脸识别 ; 协同表示 ; 稀疏表示 ; 最大相关熵 ; 局部约束

Abstract

A method which utilizes maximum correntropy criterion and locality information called collaborative representation based classifier with maximum correntropy criterion and locality constraint (CRC/MCCLC) was proposed.On the one hand, CRC/MCCLC was not only more robust to outliers than L₁ norm but also could be computed efficiently using half-quadratic optimization technique because of the use of maximum correntropy criterion.On the other hand, CRC/MCCLC could obtain more discriminative information from the training samples and could lead to an approximately sparse representation because of the use of locality information.Extensive experimental results on some image databases demonstrate that CRC/MCCLC can achieve the state-of-the-art performance on these image databases.

Keywords： face recognition ; collaborative representation ; sparse representation ; maximum correntropy criterion ; locality constraint

PDF (1199KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

余沁茹, 卢桂馥. 一种基于最大相关熵和局部约束的协同表示分类器. 智能科学与技术学报[J], 2021, 3(3): 334-341 doi:10.11959/j.issn.2096-6652.202134

YU Qinru. Collaborative representation based classifier with maximum correntropy criterion and locality constraint. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(3): 334-341 doi:10.11959/j.issn.2096-6652.202134

1 引言

人脸识别因其巨大的应用潜力吸引了计算机视觉、机器学习和模式识别领域的大量研究人员，在过去的二十年中诞生了许多算法^{[1,2,3,4,5,6,7,8]}。一些众所周知的人脸识别方法，例如基于主成分分析（principal component analysis，PCA）的Eigenfaces^[9]、基于线性判别分析（linear discriminant analysis，LDA）的Fisherfaces^[10]、基于独立成分分析（independent component analysis，ICA）的Independentfaces^[11]和基于局部保留投影（locality preserving projection， LPP）的Laplacianfaces^[12]，已经获得了较好的成果，然而这些方法对噪声和异常值很敏感。

Li S Z等人^[13]提出了一种最近特征线（nearest feature line，NFL）分类方法，该方法使用线性方式对属于同一类的每对训练样本进行外推和内插。NFL可以泛化样本的代表性能力，并已被广泛应用于许多模式识别任务中^[14]。沿着这个研究方向， Chien J T等人^[15]提出了一种最近特征空间（nearest feature space，NFS）分类方法。NFS中构建每个类的特征空间的方式与NFL中构建特征线的方式类似。

近年来，研究人员们在假设测试图像位于由同一类图像组成的线性子空间的条件下，提出了一些基于线性表示的新型分类算法^{[16,17,18,19,20,21,22]}。Wright J 等人^[16]提出了一种基于稀疏表示的分类器 SRC（sparse representation classifier），SRC在人脸识别方面取得了较好的结果。SRC使用所有训练样本来制定一个过完备字典，然后通过L₁最小化问题在训练样本上对探测图像进行稀疏编码。SRC得到的大部分组合系数很小，接近于零，只有小部分组合系数具有显著值，因此可以使用非零系数来确定探测图像的标签。

尽管SRC在鲁棒人脸识别问题上非常成功，但对于存在连续遮挡的人脸图片，其鲁棒性仍然不够高^[23]，且计算复杂度非常高。为了解决这个问题， He R 等人^[22]提出了一种基于相关熵的稀疏表示（correntropy based sparse representation，CESR）方法。相关熵^[24-25]与M估计（M-estimation）密切相关，可以有效地处理噪声和大的异常值^[26-27]。实验结果表明，对于人脸识别中的围巾遮挡问题，CESR的识别率高于SRC。

然而，参考文献[28]认为SRC中用于约束的L₁范数可以用L₂范数代替，这是因为真实人脸图像不支持SRC的稀疏假设。同样，Zhang L等人^[21]认为协同表示的方法可以获得比使用L₁范数的SRC更好的结果。因此，Zhang L 等人^[21]提出了一种基于协同表示的分类方法 CRC（collaborative representation based classification），CRC使用L₂范数而获得了解析解，因此其展现出比SRC更优秀的性能。

参考文献[17]提出了另一种同样使用L₂范数的有效的基于线性回归的分类方法 LRC（linear regression-based classification）。与 CRC 相比，LRC仅使用来自特定类别的图像获取表示系数。Ren C X等人^[19]提出了一种基于L_2,1范数的分类方法，称为基于旋转不变范数的回归分类（rotational inva riant norm based regression for classification，RRC）方法，L_2,1范数是旋转不变的，且比 L₂范数对噪声和异常值的处理更具鲁棒性。Ren C X 等人^[19]还为RRC开发了一种高效的优化算法，这与Nie F P等人^[29]提出的优化算法非常相似。

流形学习的成功表明局部几何信息对构建学习算法非常重要^{[12,30,31,32,33,34,35,36,37,38]}。参考文献[38-39]认为局部性比稀疏性更重要，这是因为局部性总会导致稀疏性，但反过来不一定成立。在局部约束下，L2范数也可以产生近似稀疏的表示结果。

利用相关熵和局部约束的优点，笔者提出了一种基于最大相关熵和局部约束的协同表示分类器（collaborative representation based classifierwith maximum correntropy criterion and locality information，CRC/MCCLC）。对于异常值， CRC/MCCLC 比 L₁范数的鲁棒性更高，且由于使用了最大相关熵准则，CRC/MCCLC还可以使用半二次优化技术进行更有效的计算。此外， CRC/MCCLC 可以从训练样本中获得更多的判别信息，并且由于使用了局部信息，CRC/MCCLC可以获得近似稀疏的表示结果。本文还提出了一种用于实现 CRC/MCCLC 的有效优化算法。在一些图像数据集上的大量实验结果证明了 CRC/MCCLC的有效性。

本文的主要贡献如下。

（1）本文将相关熵和流形学习集成到一个无缝模型中，因此本文提出的方法不仅可以有效地处理非高斯噪声和异常值，还可以获得近似稀疏的表示结果。

（2）笔者分析了CRC/MCCLC的优化问题。基于半二次优化技术，笔者提出了一种求解CRC/MCCLC的有效程序。

本文其余部分安排如下：第 2 节简要回顾了SRC、CRC和相关熵；第3节提出了CRC/MCCLC方法，并为其优化问题提出了一种有效的基于半二次优化的算法；第4节介绍本文所做的实验；第5节总结全文。

2 局部约束与熵

2.1 SRC与CRC

给定一个数据矩阵 $X = {x_{1}, x_{2}, \dots, x_{n}}$ = $[X_{1}, \dots, X_{c}] \in R^{d \times n}$ ，其中 $x_{i} \in R^{d} (i = 1, 2, \dots, n)$ ，为d维空间中的第i个训练样本， $X_{i} \in R^{d \times n_{i}} (i = 1, 2, \dots, c)$ 为第i类训练样本集合且 $\sum_{i = 1}^{c} n_{i} = n$ 。测试样本 $y \in R^{d}$ 属于第i类，可以近似表示为第i类训练样本的线性组合：

y \approx X_{i} β_{i}, \begin{matrix} i = 1, 2, \dots, c \end{matrix} (1)

其中， $β_{i} \in R^{n_{i}}$ 为向量系数。 $y$ 也可以近似表示为所有训练样本的线性组合：

y \approx X β (2)

其中， $β \in R^{n}$ 为向量系数。

SRC^[16]试图用式（3）求解稀疏解：

\min_{β} {‖ β ‖}_{0}, \begin{matrix} s .t . & y = X β \end{matrix} (3)

其中， ${‖ \cdot ‖}_{0}$ 表示L₀范数，即求 $β$ 中非零项的个数。由于对式（3）的求解存在NP难题，因此可以通过将 L₀最小化问题转为 L₁最小化问题进行求解，如式（4）所示：

\min_{β} {‖ β ‖}_{1}, \begin{matrix} s .t . & y = X β \end{matrix} (4)

其中， ${‖ \cdot ‖}_{1}$ 表示L₁范数， ${‖ β ‖}_{1} = \sum_{i = 1}^{n} | β_{i} |$ 。在许多实际应用中，人脸图像经常存在一些遮挡和损坏问题。为了解决这个问题，模型被修改为：

\min_{β} {‖ β ‖}_{1}, {\begin{matrix} s . t . & ‖ y - X β ‖ \end{matrix}}_{2} \leq ε (5)

其中，ε＞0为容错量。该模型可以有效地解决遮挡和损坏问题。

通常，式（5）可以被重写为具有适当参数λ≥0的等效无约束形式：

\min_{β} {‖ y - X β ‖}_{2}^{2} + λ {‖ β ‖}_{1} (6)

式（6）被称为套索问题。在接下来的部分中，笔者将式（6）作为SRC的目标函数。

CRC^[21]仅用L₂范数代替式（6）中的L₁范数就可以得到较高的识别率。CRC的目标函数为：

\min_{β} {‖ y - X β ‖}_{2}^{2} + λ {‖ β ‖}_{2}^{2} (7)

CRC存在解析解，如 $β = {(X^{⊤} X + λ I)}^{- 1} X^{⊤} y$ ，其中 $I$ 是一个n×n的单位矩阵。从运算速度来说， CRC比SRC快了许多。

2.2 熵

熵^[24-25]被定义为两个任意变量A和B之间的局部相似性度量：

V_{σ} (A, B) = E [k_{σ} (A - B)] (8)

其中，E[⋅]是数学期望，k_σ(⋅)表示核函数。通常只能获得数量有限的数据 ${(a_{j}, b_{j})}_{j = 1}^{n}$ 。由于不知道 A和B的联合概率密度函数，可以得到相关熵的样本估计为：

{\hat{V}}_{n, σ} (A, B) = \frac{1}{n} \sum_{j = 1}^{n} k_{σ} (a_{j} - b_{j}) (9)

其中，k_σ是高斯核函数 $g (x) = \exp (- \frac{x^{2}}{2 σ^{2}})$ 。可以将式（9）重写为：

{\hat{V}}_{n, σ} (A, B) = \frac{1}{n} \sum_{j = 1}^{n} g (a_{j} - b_{j}) (10)

在参考文献[24]中，最大相关熵准则（maximum correntropy criterion，MCC）被定义为误差的最大相关熵。

3 基于最大相关熵和局部约束的协同表示分类器

3.1 算法模型

显然， ${‖ y - X β ‖}_{2}^{2}$ 可以被重写为：

{‖ y - X β ‖}_{2}^{2} = {\sum_{j = 1}^{d} (y_{j} - \sum_{i = 1}^{n} x_{i j} β_{i})}^{2} (11)

其中，x_ij表示第i个训练样本的第j项，y _j表示y的第j项。

将式（11）代入式（7），再结合式（10），同时给出具有局部约束 $W$ 的系数 $β$ ，则CRC/MCCLC可定义为下式：

J_{CRC/MCCLC} = \max_{β} \sum_{j = 1}^{d} g (y_{j} - \sum_{i = 1}^{n} x_{i j} β_{i}) - λ {‖ W β ‖}_{2}^{2} (12)

其中， $W = diag ([w_{1}, w_{2}, \dots, w_{n}])$ ，diag(⋅)是将向量转换为对角矩阵的运算符， $w_{i} (i = 1, 2, \dots, n)$ 是 $x_{i}$ 和 $y$ 之间的间距：

w_{i} = \frac{\exp ({‖ y - x_{i} ‖}^{2} / σ^{2})}{\max (\exp ({‖ y - x_{i} ‖}^{2} / σ^{2}))}, i = 1, 2, \dots, n (13)

式（12）中的局部约束 $W$ 有双重解释：当 $y$ 和 $x_{i}$ 之间距离较大时，系数应该很小，从而使式（12）最大化；当 $y$ 和 $x_{i}$ 之间的距离较小时，系数应较大。

3.2 CRC/MCCLC的目标函数的求解算法

由于 CRC/MCCLC 的求解是一个非线性优化问题，很难直接进行优化。因此，笔者设计了一种基于半二次优化技术求解式（12）的算法^[27]。

定理1^[22,27]存在g(x)的凸共轭函数ϕ使得：

g (x) = \max_{p^{'}} (p^{'} \frac{{‖ x ‖}^{2}}{σ^{2}} - φ (p^{'})) (14)

其中， $p^{'} \in R$ 是标量，对于固定的 x，最大值为 $p^{'} = - g (x)$ 。

将式（14）代入式（12），得到 CRC/MCCLC的增强目标函数：

{\hat{J}}_{CRC/MCCLC} =

\max_{β, p} \sum_{j = 1}^{d} (p_{j} {(y_{j} - \sum_{i = 1}^{n} x_{i j} β_{i})}^{2} - φ (p_{j})) - λ {‖ W β ‖}_{2}^{2} (15)

其中， $p = [p_{1}, p_{2}, \dots, p_{d}]^{⊤}$ 由半二次优化技术引入，是辅助变量。显然，对于固定的 $β$ 有：

J_{CRC/MCCLC} (β) = \max_{p} {\hat{J}}_{CRC/MCCLC} (β, p) (16)

\max_{β} J_{CRC/MCCLC} (β) = \max_{β, p} {\hat{J}}_{CRC/MCCLC} (β, p) (17)

因此，可以通过最大化 ${\hat{J}}_{CRC/MCCLC} (β, p)$ 来获得 $J_{CRC/MCCLC} (β)$ 的最大值。

以交替最大化的方式计算局部最大化值：

p_{j}^{t + 1} = - g (y_{j} - \sum_{i = 1}^{n} x_{i j} β_{i}^{t}) (18)

β^{t + 1} = \underset{β}{\arg \max} (y - X β)^{⊤} diag (p) (y - X β) - λ {‖ W β ‖}_{2}^{2} (19)

其中，t表示迭代次数。式（19）可被重写作：

\underset{β}{\arg \max} β^{⊤} X^{⊤} diag (p) X β - y^{⊤} diag (p) X β -

β^{⊤} X^{⊤} diag (p) y - λ β^{⊤} W^{⊤} W β (20)

令 $\tilde{X} = diag (\sqrt{- p^{t + 1}}) X$ 且 $\tilde{y} = diag (\sqrt{- p^{t + 1}}) y$ ，有：

\underset{β}{\arg \min} β^{⊤} {\tilde{X}}^{⊤} \tilde{X} β - {\tilde{y}}^{⊤} \tilde{X} β - β^{⊤} {\tilde{X}}^{⊤} \tilde{y} + λ β^{⊤} W^{⊤} W β (21)

式（21）存在解析解：

β = {({\tilde{X}}^{⊤} \tilde{X} + λ W^{⊤} W)}^{- 1} {\tilde{X}}^{⊤} \tilde{y} (22)

根据以上分析，式（15）的优化过程可总结为算法1。

算法1 CRC/MCCLC目标函数的求解算法

输入数据矩阵 $X$ ，测试样本 $y$ ，正则化参数λ＞ 0，核函数σ＞0， $p^{1} = - [1, 1, \dots, 1] \in R^{d}$ ，一个较小的值ε

输出 $β$

步骤1：令t=1并通过式（13）计算 $W$ ；

步骤 2：计算 $\tilde{X} = diag (\sqrt{- p^{t}}) X$ 与 $diag (\sqrt{- p^{t}}) y$ ；

步骤3：通过式（19）计算 $β^{t}$ ；

步骤4：如果 $‖ β^{t} - β^{t - 1} ‖ < ε$ ，停止计算；否则通过式（18）更新辅助向量 $p^{t + 1}$ ，且t=t+1，回到步骤2。

由以上算法可以看出，CRC/MCCLCC 生成的序列 ${{\hat{J}}_{CRC/MCCLC} (β, p), t = 1, 2, \dots}$ 最终会收敛。

3.3 CRC/MCCLC的分类过程

通常，计算分类器需要将测试样本 $y$ 分类到现有类中。理想情况下，测试样本 $y$ 应该通过与 $y$ 同类的训练样本进行最佳重构获得。

因此，笔者将测试样本 $y$ 进行如下分类：对于每个类 i(i=1,2,…,c)，令 $δ_{i} : R^{n} \to R^{n_{i}}$ 为一个用于选择所属类系数的函数，如 $δ_{i} (β) \in R^{n_{i}} (i = 1, 2, \dots, c)$ 是一个列向量，其是 $β$ 中与类i有关的项。由此，测试样本 $y$ 可以由来自i的类样本重构为：

{\hat{y}}_{i} = X_{i} δ_{i} (β) (23)

因此，测试样本 $y$ 可以被归类到 $y$ 和 ${\hat{y}}_{i}$ 之间具有最大非线性相似度的第i类，如：

\max_{i} r_{i} (y) = g ({‖ y - {\hat{y}}_{i} ‖}_{2}) = g ({‖ y - X_{i} δ_{i} (β) ‖}_{2}) =

\exp (- \frac{{‖ y - X_{i} δ_{i} (β) ‖}_{2}^{2}}{2 σ^{2}}) (24)

由于 g(x)是一个单调递减函数， $y$ 和 ${\hat{y}}_{i}$ 之间的最大非线性相似度相当于 $y$ 和 ${\hat{y}}_{i}$ 之间的最小欧氏距离。那么有：

\min_{i} r_{i} (y) = {‖ y - {\hat{y}}_{i} ‖}_{2} = {‖ y - X_{i} δ_{i} {(β)}_{i} ‖}_{2} (25)

根据以上分析，CRC/MCCLC的分类过程可总结为算法 2。

算法2 CRC/MCCLC的分类过程

输入数据矩阵 $X = [X_{1}, \dots, X_{c}] \in R^{d \times n}$ ，测试样本 $y$ ，算法1中获得的系数向量 $β$

输出 $identity(y)$

步骤1：利用算法1计算系数向量 $β$ ；

步骤2：计算残差 $r_{i} (y) = {‖ y - {\hat{y}}_{i} ‖}_{2} = {‖ y - X_{i} δ_{i} {(β)}_{i} ‖}_{2}$ ；(i=1,2,…,c)

步骤3： $identity(y) = \underset{i}{\arg \max} r_{i} (y)$ 。

3.4 算法复杂度

在算法1的步骤1中，计算 $W$ 时的复杂度为O(dn)；在步骤 2 中，计算 $\tilde{X} = diag (\sqrt{- p^{t}}) X$ 与 $\tilde{y} = diag (\sqrt{- p^{t}}) y$ 时的复杂度为O(dn)和O(d)；在步骤3中，计算 $β$ 时的复杂度为O(dn²)。由此可以得出，CRC/MCCLC的算法复杂度为 $O (t (d n^{2} + d n + d))$ ，其中t为迭代次数。

4 实验与结果

本节在人脸识别方面将本文提出的 CRC/MCCLC与几种相关的先进算法进行比较，如SRC^[16]、CRC^[21]、LRC^[17]以及CESR^[22]。SRC是使用l1-magic实现的，是一个公开可用的数据包。对于CRC/MCCLC中的σ和λ，笔者尝试从{0.1, 0.5, 1, 5, 10, 50}与{0.001, 0.002, 0.003, 0.004, 0.005, 0.006, 0.007, 0.008, 0.009, 0.010}中分别取不同的值进行测试。实验是在移动双核Intel Pentium（1.8 GHz）处理器、4G RAM的acer计算机上进行的，实验所用操作系统为Windows7，编程环境为MATLAB2008。

4.1 ORL人脸数据集上的实验

ORL 人脸数据集中共有 400 张人脸图像（共40人，每人10个样本）。某些人脸图像是在不同时间拍摄的，灯光、面部动作（睁眼/闭眼、微笑/不微笑）和面部细节（戴眼镜/不戴眼镜）都不同。ORL人脸数据集中某人的一些示例图像如图1所示。

实验选取每个人的i(i=4,5)个样本进行训练，其余样本用于测试。对于每个给定的i，执行10次随机选择样本操作并训练样本，然后计算平均识别率和标准偏差。实验中，PCA被用于降低每个图像的维数。不同算法在 ORL 人脸数据集上的平均识别率和标准偏差见表1。从表1可以看出，本文提出的算法 CRC/MCCLC 较原有算法在误差允许范围内有明显的效果提升。

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 ORL人脸数据集中某人的一些示例图像

4.2 Yale人脸数据集上的实验

Yale人脸数据集包含15个人的165张灰度图像，每个人有 11 张图像。这些图像展示了光照条件、面部表情（正常、快乐、悲伤、困倦、惊讶和眨眼）的变化。在本文的实验中，Yale人脸数据集中每张图像的尺寸都被手动裁剪并调整为 32×32。Yale人脸数据集中某人的一些示例图像如图2所示。

实验同样选取每个人的 i(i=4,5)个样本进行训练，其余样本用于测试。对于每个给定的i，笔者执行10次随机选择样本操作并训练样本，然后计算平均识别率和标准偏差，结果见表2。其中，LRC的性能较差，SRC、CRC与CRC/MCCLC的性能较好， CRC/MCCLC的性能比SRC和CRC更好。

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 Yale人脸数据集中某人的一些示例图像

4.3 AR人脸数据集上的实验

AR人脸数据集包含126个人的不同面部表情、光照条件和遮挡情况下的 4 000 多张灰色人脸图像。在本文的实验中，所有图像的尺寸都被手动裁剪并调整为50×40。

表1 不同算法在ORL人脸数据集上的平均识别率和标准偏差

样本大小	SRC	CRC	LRC	CESR	CRC/MCCLC
4	91.8%±1.0%	91.5%±1.6%	88.9%±1.3%	90.9%±1.1%	92.8%±1.2%
5	95.1%±1.5%	94.5%±1.7%	92.0%±1.6%	92.8%±1.7%	95.5%±1.8%

新窗口打开| 下载CSV

表2 不同算法在Yale人脸数据集上的平均识别率和标准偏差

样本大小	SRC	CRC	LRC	CESR	CRC/MCCLC
4	74.5%±3.2%	74.0%±3.6%	59.3%±2.7%	65.4%±2.1%	76.2%±3.8%
5	81.1%±3.6%	80.3%±3.3%	65.9%±3.3%	69.7%±3.6%	82.1%±3.0%

新窗口打开| 下载CSV

笔者在AR人脸数据集上进行了两个实验。在第一个实验中，笔者使用了AR人脸数据集的子集，其中包含来自120个人的1 680张图像。对于每个人，AR人脸数据集中会话1中的7张图像用于训练，而会话2中的7张图像用于测试。AR人脸数据集中某人的一些示例图像如图3所示。PCA被用于将每张图像的维数降低到 300。不同算法在 AR人脸数据集上不同聚类量的平均识别率见表3。

在第二个实验中，笔者使用了AR人脸数据集的其他子集，包含来自120个人的1 440张图像。其中，960张无遮挡图像（每个人约8张图像）用于训练，其余戴墨镜和围巾的图像（如图4所示）用于测试。PCA 被用于将每张图像的维数降低到300。不同算法在AR人脸数据集上不同聚类量的墨镜/围巾遮挡识别率分别见表4和表5。

总体看来，除LRC外的几种算法有较好的实验表现，这些算法在AR数据集以及其墨镜遮挡数据集上展现出的性能不分伯仲，但 CRC/MCCLC 在围巾遮挡数据集上的表现明显优于其他算法。

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 AR人脸数据集中某人的一些示例图像

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 AR人脸数据集中存在墨镜与围巾遮挡的图像

4.4 参数敏感性

核大小σ和正则化参数λ都是重要参数，经过良好调整的σ和λ可以提高CRC/MCCLC的性能。在本节中，笔者将研究σ和λ对CRC/MCCLC的识别性能的影响，实验的数据集合为{0.1, 0.5, 1, 5, 10, 50}和{0.001, 0.002, 0.003, 0.004, 0.005, 0.006, 0.007,0.008, 0.009, 0.010}。在ORL人脸数据集上，σ和λ对 CRC/MCCLC 的识别性能的影响如图5 所示（实验时每个人都有4个样本用于训练）。

表3 不同算法在AR人脸数据集上不同聚类量的平均识别率

算法	50	100	150	200	250	300
SRC	69.4%	73.3%	73.8%	73.9%	74.3%	72.0%
CRC	68.8%	72.2%	75.1%	75.0%	75.2%	73.8%
LRC	63.6%	65.8%	67.0%	68.1%	68.0%	68.0%
CESR	70.2%	72.3%	73.8%	74.4%	74.4%	74.4%
CRC/MCCLC	72.8%	75.1%	75.7%	74.5%	74.4%	73.8%

新窗口打开| 下载CSV

表4 不同算法在AR人脸数据集上不同聚类量的墨镜遮挡识别率

算法	50	100	150	200	250	300
SRC	93.3%	95.4%	97.9%	96.2%	95.4%	95.4%
CRC	88.3%	92.1%	95.4%	94.6%	94.6%	95.4%
LRC	94.2%	96.1%	96.7%	96.7%	96.7%	96.2%
CESR	93.8%	97.5%	97.9%	98.1%	98.1%	98.1%
CRC/MCCLC	97.2%	97.5%	98.1%	98.3%	98.1%	97.9%

新窗口打开| 下载CSV

表5 不同算法在AR人脸数据集上不同聚类量的围巾遮挡识别率

算法	50	100	150	200	250	300
SRC	43.7%	60.8%	71.1%	70.0%	73.3%	73.4%
CRC	34.2%	50.0%	58.3%	62.9%	65.8%	69.6%
LRC	24.2%	28.3%	31.7%	31.7%	31.7%	31.7%
CESR	42.1%	48.0%	58.8%	62.8%	65.8%	67.8%
CRC/MCCLC	45.1%	62.3%	70.7%	72.4%	73.6%	74.2%

新窗口打开| 下载CSV

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 σ和λ对CRC/MCCLC的识别性能的影响

4.5 讨论

从实验结果可以得出以下结论。

（1）与其他方法相比，本文提出的CRC/MCCLC在大多数实验中可以达到最高的平均识别率。然而，CRC/MCCLC在所有实验中并不总是显著优于SRC、CRC、LRC和CESR的。

（2）从第4.4节的实验可以看出，CRC/MCCLC的识别性能取决于σ和λ。然而，当σ和λ分别从集合{0.1, 0.5, 1, 5, 10, 50} 和 {0.001, 0.002, 0.003, 0.004, 0.005, 0.006, 0.007, 0.008, 0.009, 0.010}中取值时，CRC/MCCLC 的性能相对稳定。在实践中，研究人员可以使用交叉验证方法进行选择，这是因为可以获得最高识别率的最佳σ和λ以及最高识别率取决于测试数据，并且在实际问题中事先未知。

5 结束语

本文提出了一种新的基于最大相关熵和局部约束的协同表示分类器CRC/MCCLC。借助最大相关熵准则的优势，CRC/MCCLC对异常值的鲁棒性比L₁范数更高，而且可以使用半二次优化技术进行有效的计算。同时，CRC/MCCLC对局部信息的使用使得其可以从训练样本中获得更多的判别信息及近似稀疏表示。这些方法的运用使得CRC/MCCLC可以获得较好的性能。

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

[1]

, SHENG

V S

A robust regularization path algorithm for v-support vector classification

[J]. IEEE Transactions on Neural Networks and Learning Systems, 2017,28(5): 1241-1248.