自编码器及其应用综述
来杰, 王晓丹, 向前, 宋亚飞, 权文

Review on autoencoder and its application
Jie LAI, Xiaodan WANG, Qian XIANG, Yafei SONG, Wen QUAN
表2 自编码器改进算法的分析与比较
算法 出发点 改进方式
传统正则化自编码器 调整权值衰减程度,改善过拟合现象 在自编码器损失函数中添加权值的L2范数正则化项
稀疏自编码器 增强所提取特征的稀疏性 在自编码器损失函数中添加隐含层输出的KL散度正则化项
去噪自编码器 改善噪声影响,提升所提取特征的稳健性 引入退化过程,用添加噪声的输入样本重构原始纯净样本
收缩自编码器 提升所提取特征对输入小扰动的稳健性 在自编码器损失函数中添加隐含层输出的收缩正则化项
变分自编码器 迫使隐变量满足特定分布,具备数据生成能力 添加隐变量分布的KL正则化项,引入重参数技巧将采样计算变为数值计算
卷积自编码器 保留图像的空间信息 将自编码器的全连接层替换为卷积层与池化层
极限学习机-自编码器 改善泛化性能,提升训练效率 随机赋值隐含层输入权值与偏置,并计算输出权值的最小二乘解
区分自编码器 增强所提取特征的可区分性 在自编码器损失函数中添加隐含层输出的类内距离与类间距离正则化项
L21范数自编码器 兼顾所提取特征的稀疏性与稳健性 在自编码器损失函数中添加隐含层输出的L21范数正则化项
对抗自编码器 迫使隐变量满足特定分布,提升数据生成能力 引入对抗学习策略,完成隐变量向特定分布的逼近
图自编码器 保持低维流形的局部一致性 通过引入迹函数,在自编码器损失函数中添加图正则化项
二次自编码器 提升所提取抽象特征的稳健性 采用输入样本的二次运算代替传统神经节点的内积,提出了二次神经节点,并构建其自编码器结构
狄利克雷变分自编码器 提升生成样本的对数似然性,避免解码器权值崩溃 将变分自编码器假设的高斯分布替换为狄利克雷分布,利用随机梯度下降拟合其分布函数
注意力协同自编码器 提升局部关键信息的重要程度 将注意力机制引入自编码器中,在反向传播中实现关键特征的重新加权
同构自编码器 降低重构误差,使抽象特征更能描述输入样本数据结构 在堆栈自编码器中,将各层自编码器期望输出均替换为原始输入样本