It is a long-term challenge to identify the real and fake faces in the images.When the synthetic fake faces are very realistic, it is difficult for machines and even naked eyes to distinguish the real and fake ones.The supervised anti-spoofing method often requires a large number of labeled samples for a good performance.An anti-spoofing method of face recognition based on semi-supervised learning was proposed to reduce the dependence on massive labeled samples.The method adopted an image inpainting model to learn the data distribution of face images.During the training process, a few labeled samples periodically provided supervised signals to train the classifier to distinguish real faces from fake ones.The proposed method could be used for face anti-spoofing in different scenario, such as faces captured by cameras or generated by generative adversarial net.Accordingly, it was evaluated on the NUAA and RMFD datasets.Experiment results show that the proposed method can keep the quality of restored images, and achieve desirable classification accuracy.With a few labeled samples, the proposed method outperforms Improved-GAN and common semi-supervised methods, and surpasses supervised learning method based on support vector machine and convolutional neural network.
LI Li. Research on anti-spoofing method of face recognition based on semi-supervised learning. Chinese Journal of Intelligent Science and Technology[J], 2021, 3(3): 370-380 doi:10.11959/j.issn.2096-6652.202138
1 引言
人脸识别技术在日常生活中已经被应用到各种身份识别系统中,如门禁系统、公共场合的安检系统、屏幕解锁等,保障了信息安全。尽管如此,人脸识别技术仍然存在安全隐患,例如照片、视频或 3D 打印技术可以高度模拟人脸图像,欺骗识别系统。为了规避这一问题,近年来人脸反欺骗技术受到了广泛的关注。尤其在新型冠状病毒肺炎疫情期间,口罩遮挡的情况给真伪人脸的识别带来了新的挑战。本文主要研究区分真实和伪造人脸图像的反欺骗方法。该类方法根据特征表示的不同通常分为3种类型,分别为基于传统手工特征、深度学习特征和融合特征的方法。
相较于手工设计的浅层特征,深度学习方法提取的深层语义特征通常具有更强的代表性和泛化能力[5]。Li L 等人[6]利用神经网络将多个卷积层的输出结合作为图像特征。Liu Y J等人[7]提出的模型使用空间和时间辅助信息,即深度特征和远程光电容积脉搏波描记法(remote photoplethysmographic, rPPG)信号(即心脏脉冲信号),并采用一种新颖的CNN-RNN架构来学习特征表示。
传统手工设计的浅层特征不能表示高维深层的语义信息,而只采用深度学习的人脸反欺骗方法一般会有过拟合、难收敛等问题。因此,越来越多的学者将两种方法进行融合,两种方法可以互相补充和提升。Patel K等人[8]提出一种基于深度学习特征和面部运动线索(如眨眼)的鲁棒表示方法,用于防止图像和视频欺骗。Raghavendra R等人[9]提出表示攻击检测算法,同时捕获人脸图像中的局部特征和全局特征。Feng L T等人[10]提出一种多信息融合的分层神经网络结构,用于融合动态特征和图像纹理特征。
本文提出一种半监督学习方法用于人脸反欺骗,通过基于 GAN 的图像修复模型,拟合潜在的人脸图像分布,并将少量带标签图像融入图像修复训练过程,以此提升真伪人脸分类性能。实验结果表明,本文提出的半监督学习方法的分类准确率更高。本文的主要贡献概括如下:
(1)为了减少获取标签的成本,本文提出一种基于 GAN 的半监督学习方法,用于解决人脸反欺骗问题;
(2)本文解决了两种情况的人脸图像欺骗,即摄像人脸和 GAN 生成的戴口罩人脸,并通过实验验证了所提方法的可行性。
2 相关工作
2.1 半监督学习
半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法。自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据。协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中。基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段。一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数。转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签。在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出。利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布。该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果。Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补。
2.2 图像修复
图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法。近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量。Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量。Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器。与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性。Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性。在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节。图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力。为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题。实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法。
3 算法
本节介绍基于 GAN 的半监督学习方法如何完成人脸反欺骗任务。其中,所用 GAN 模型类似于图像修复的GAN结构[30],分为生成器和判别器两个卷积神经网络。判别器又被分为局部判别器和全局判别器。给定缺失的图像,生成器根据判别器的指导进行无监督的训练,填补缺失的部分,使补全的图像在视觉上真实,与缺失前无异。同时,人脸反欺骗任务被整合到全局判别器的训练过程中,使全局判别器可使用少量有监督信号来学习识别真实和伪造的人脸图像。
生成器的架构遵循一种编码器和解码器的结构,与普通 GAN 直接从噪声矢量生成图像不同,用于图像修复的 GAN 编码器学习到的隐藏表示捕获了未知区域和已知区域之间的更多变化和关系,可以通过将这些变化和关系输入解码器来填充缺失的图片内容。这种结构先通过降低分辨率来减少内存使用和计算时间,再进一步生成高分辨率图像。与依赖多个池化层来降低分辨率的架构不同,本文的网络模型通过步幅卷积将图像的分辨率(单位面积的像素数目)降低两次,每次降低 1/4,该操作对于在缺失区域生成清晰纹理的图像非常重要。此外,空洞卷积可以通过相同数量的网络参数感知每个像素周围更大的区域,有利于发掘缺失像素和图像其他部分的关系。解码器主要通过反卷积层将低分辨图像恢复为原始图像。整体上,生成网络的输入是存在缺失的RGB图像及其二值图像(1表示缺失部分像素,0 表示图像的其他部分),输出是复原的RGB图像。
3.2 判别器
基于 GAN 的对抗学习的性质,通过训练判别器来区分真实图像和生成图像,以估计真实数据分布,并指导生成器生成更真实的图像。与图像生成任务不同,图像修复不仅要保证填充图像区域的质量,还要关注修复后图像的一致性。因此,判别器又被分为局部判别器和全局判别器。前者用于判断缺失区域中生成的内容是否真实,后者则用于判断生成内容与周围像素环境是否一致。局部判别器的输入是以填充区域为中心的原图像 1/4 大小的区域。但由于局部判别器的局限性,在反向传播过程中,其较难对缺失区域外的图像部分产生直接影响。这容易导致缺失区域边界的像素点明显不一致,造成恢复的图像和原图像不匹配。为了解决这一问题,全局判别器以恢复后的整张图像为输入,同时判断填充内容的真实性和整体图像的一致性。局部判别器和全局判别器的卷积层都使用5×5大小的卷积核以及2×2的步长降低分辨率,分别得到1 024维的向量。最后,将上述两个向量连接为一个2 048维的向量,由单个全连接层进行处理,输出一个连续的值。该数值被Sigmoid函数映射到[0,1]范围内,用于判断图像的来源(真实数据或生成数据)。
(3)采用无标签数据,通过 GAN 损失函数对生成器和判别器进行联合训练,先训练判别器再训练生成器,并在每次迭代完成后基于带标签图像用交叉熵分类损失函数训练全局判别器。GAN损失函数旨在训练判别器,使其可以判别被修复图像是否真实;交叉熵分类损失函数用于训练全局判别器,使得全局判别器具有区分真伪人脸图像的能力,即图像分类的能力。
... 相较于手工设计的浅层特征,深度学习方法提取的深层语义特征通常具有更强的代表性和泛化能力[5].Li L 等人[6]利用神经网络将多个卷积层的输出结合作为图像特征.Liu Y J等人[7]提出的模型使用空间和时间辅助信息,即深度特征和远程光电容积脉搏波描记法(remote photoplethysmographic, rPPG)信号(即心脏脉冲信号),并采用一种新颖的CNN-RNN架构来学习特征表示. ...
人工智能进入后深度学习时代
1
2019
... 相较于手工设计的浅层特征,深度学习方法提取的深层语义特征通常具有更强的代表性和泛化能力[5].Li L 等人[6]利用神经网络将多个卷积层的输出结合作为图像特征.Liu Y J等人[7]提出的模型使用空间和时间辅助信息,即深度特征和远程光电容积脉搏波描记法(remote photoplethysmographic, rPPG)信号(即心脏脉冲信号),并采用一种新颖的CNN-RNN架构来学习特征表示. ...
An original face anti-spoofing approach using partial convolutional neural network
1
2016
... 相较于手工设计的浅层特征,深度学习方法提取的深层语义特征通常具有更强的代表性和泛化能力[5].Li L 等人[6]利用神经网络将多个卷积层的输出结合作为图像特征.Liu Y J等人[7]提出的模型使用空间和时间辅助信息,即深度特征和远程光电容积脉搏波描记法(remote photoplethysmographic, rPPG)信号(即心脏脉冲信号),并采用一种新颖的CNN-RNN架构来学习特征表示. ...
Learning deep models for face anti-spoofing:binary or auxiliary supervision
1
2018
... 相较于手工设计的浅层特征,深度学习方法提取的深层语义特征通常具有更强的代表性和泛化能力[5].Li L 等人[6]利用神经网络将多个卷积层的输出结合作为图像特征.Liu Y J等人[7]提出的模型使用空间和时间辅助信息,即深度特征和远程光电容积脉搏波描记法(remote photoplethysmographic, rPPG)信号(即心脏脉冲信号),并采用一种新颖的CNN-RNN架构来学习特征表示. ...
Cross-database face antispoofing with robust feature representation
1
2016
... 传统手工设计的浅层特征不能表示高维深层的语义信息,而只采用深度学习的人脸反欺骗方法一般会有过拟合、难收敛等问题.因此,越来越多的学者将两种方法进行融合,两种方法可以互相补充和提升.Patel K等人[8]提出一种基于深度学习特征和面部运动线索(如眨眼)的鲁棒表示方法,用于防止图像和视频欺骗.Raghavendra R等人[9]提出表示攻击检测算法,同时捕获人脸图像中的局部特征和全局特征.Feng L T等人[10]提出一种多信息融合的分层神经网络结构,用于融合动态特征和图像纹理特征. ...
Novel presentation attack detection algorithm for face recognition system:application to 3D face mask attack
1
2014
... 传统手工设计的浅层特征不能表示高维深层的语义信息,而只采用深度学习的人脸反欺骗方法一般会有过拟合、难收敛等问题.因此,越来越多的学者将两种方法进行融合,两种方法可以互相补充和提升.Patel K等人[8]提出一种基于深度学习特征和面部运动线索(如眨眼)的鲁棒表示方法,用于防止图像和视频欺骗.Raghavendra R等人[9]提出表示攻击检测算法,同时捕获人脸图像中的局部特征和全局特征.Feng L T等人[10]提出一种多信息融合的分层神经网络结构,用于融合动态特征和图像纹理特征. ...
Integration of image quality and motion cues for face anti-spoofing:a neural network approach
1
2016
... 传统手工设计的浅层特征不能表示高维深层的语义信息,而只采用深度学习的人脸反欺骗方法一般会有过拟合、难收敛等问题.因此,越来越多的学者将两种方法进行融合,两种方法可以互相补充和提升.Patel K等人[8]提出一种基于深度学习特征和面部运动线索(如眨眼)的鲁棒表示方法,用于防止图像和视频欺骗.Raghavendra R等人[9]提出表示攻击检测算法,同时捕获人脸图像中的局部特征和全局特征.Feng L T等人[10]提出一种多信息融合的分层神经网络结构,用于融合动态特征和图像纹理特征. ...
Self-labeled techniques for semi-supervised learning:taxonomy,software and empirical study
1
2015
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
A new analysis of co-training
1
2010
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
When does cotraining work in real data?
1
2011
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Automatic feature decomposition for single view co-training
1
2011
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
A survey on semi-supervised feature selection methods
1
2017
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Multi-manifold semi-supervised learning
1
2009
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Why does unsupervised pre-training help deep learning
1
2010
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
基于ICD-10诊断编码的慢性病并发症聚类算法
1
2018
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
基于ICD-10诊断编码的慢性病并发症聚类算法
1
2018
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Large graph construction for scalable semi-supervised learning
1
2010
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Deterministic annealing for semi-supervised structured output learning
1
2012
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Particle competition and cooperation in networks for semi-supervised learning
3
2012
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Good semi-supervised learning that requires a bad GAN
1
2017
... 半监督学习按照训练方法可被分为自训练、协同训练、无监督预处理3种方法.自训练[16]是最基本的伪造标签的方法,包括一个单独的监督学习分类器,迭代训练一小部分有标签的数据和之前算法迭代中被贴上伪标记的数据.协同训练[17,18,19]是多监督分类器自训练的一种扩展,每一个监督学习分类器都在有标签数据上迭代训练,并将最可信的预测添加到其他分类器的训练集中.基于无监督预处理[20,21,22]的方法一般分为利用无标签数据的无监督学习阶段和利用有标签数据的转换阶段.一般来说,无监督学习阶段包括特征提取、聚类[23]以及初始化学习参数.转换阶段常用的是基于图的标签传播方法,其根据局部网络结构为无标签样本分配标签.在基于无监督预处理的方法的变体[24,25,26]中,多种标签传播的方法被提出.利用深度神经网络强大的代表性和判别能力,基于 GAN 的半监督学习在一些任务中取得了理想的结果,Salimans T 等人[27]对 GAN进行了半监督学习的扩展,将输出设置为Y+1维,其中前Y维对应数据集中的类别,最后一维表示图像是否来自真实的数据分布.该模型被称为Improved-GAN,专门用于半监督学习,在多个分类任务中取得了理想的结果.Dai Z H等人[28]对GAN在半监督学习中的应用进行理论分析,提出为了提高判别器的性能,生成器所拟合的数据分布应该与实际数据分布互补. ...
Context encoders:feature learning by inpainting
2
2016
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...
... 本节介绍基于 GAN 的半监督学习方法如何完成人脸反欺骗任务.其中,所用 GAN 模型类似于图像修复的GAN结构[30],分为生成器和判别器两个卷积神经网络.判别器又被分为局部判别器和全局判别器.给定缺失的图像,生成器根据判别器的指导进行无监督的训练,填补缺失的部分,使补全的图像在视觉上真实,与缺失前无异.同时,人脸反欺骗任务被整合到全局判别器的训练过程中,使全局判别器可使用少量有监督信号来学习识别真实和伪造的人脸图像. ...
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...
Image inpainting using pre-trained classification CNN
1
2018
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...
Deep structured energy-based image inpainting
1
2018
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...
Improving consistency and correctness of sequence inpainting using semantically guided generative adversarial network
1
... 图像修复是对不完整图像的缺失部分进行补全,从而得到复原图像的一类方法.近年来,基于GAN的图像修复模型得到广泛的研究,这些模型共享一个类似的框架,该框架是由 GAN 开发的,具体来说,通过生成器修复图像,并在判别器的指导下提高修复图像的质量.Pathak D等人[29]提出了用于图像修复的上下文编码器,该卷积神经网络(convolutional neural network,CNN)可以根据周围环境生成任意图像区域内容,结合编码器-解码器结构和GAN,分别用于图像修复和改善图像质量.Iizuka S等人[30]改进了上下文编码器,将其重构为3个部分,分别是补全网络、全局判别器和局部判别器.与上下文编码器相比,该模型可以恢复任何形状的掩码图像,并且能有效地保持一致性.Li Y J等人[31]在上下文编码器的基础上引入全局对抗损失,强调整个图像的真实性,并保持边界区域的一致性.在上下文编码器的基础上,其他方法通过使用预训练的分类器、熵损失函数、语义条件等[32,33,34]优化图像的一致性和细节.图像修复模型关注的是整个图像的真实性和连贯性以及随机的局部区域,因此其在捕获数据分布方面比一般的 GAN 更有潜力,可以提高半监督学习的能力.为了验证这一点,本文采用GAN图像修复模型[30]进行半监督学习,有效解决了人脸反欺骗问题.实验结果表明,所提基于图像修复的半监督学习模型优于Improved-GAN模型和其他经典的半监督学习方法. ...