物联网学报, 2021, 5(3): 115-125 doi: 10.11959/j.issn.2096-3750.2021.00217

服务与应用

基于IR-VGG的多分类皮肤病实时诊断

谈玲1, 荣杉山1, 夏景明2, SajibSarker2, 马雯杰1

1 南京信息工程大学计算机与软件学院,江苏 南京 210044

2 南京信息工程大学人工智能学院,江苏 南京 210044

3 南京信息工程大学雷丁学院,江苏 南京 210044

Real-time diagnosis of multi-category skin diseases based on IR-VGG

TAN Ling1, RONG Shanshan1, XIA Jingming2, SAJIB Sarker2, MA Wenjie1

1 School of Computer and Software, Nanjing University of Information Science &Technology, Nanjing 210044, China

2 School of Artificial Intelligence, Nanjing University of Information Science &Technology, Nanjing 210044, China

3 Reading Academy of Nanjing University of Information Science &Technology, Nanjing 210044, China

通讯作者: 谈玲,cillatan0@nuist.edu.cn

修回日期: 2021-01-13   网络出版日期: 2021-09-30

基金资助: 国家重点研发计划.  2018YFC1506502

Revised: 2021-01-13   Online: 2021-09-30

Fund supported: The National Key Research and Development Program of China.  2018YFC1506502

作者简介 About authors

谈玲(1979-),女,南京信息工程大学计算机与软件学院助理教授,主要研究方向为机器学习和深度学习在图像处理中的应用 。

荣杉山(1997-),男,南京信息工程大学计算机与软件学院硕士生,主要研究方向为深度学习在医疗图像中的应用 。

夏景明(1980-),男,南京信息工程大学人工智能学院助理教授,主要研究方向为机器学习和深度学习在气象学中的应用 。

SajibSarker(1994-),男,南京信息工程大学雷丁学院硕士生,主要研究方向为机器学习、深度学习、人工智能、计算机视觉、模式识别和图像处理 。

马雯杰(1997-),女,南京信息工程大学计算机与软件学院硕士生,主要研究方向为计算机视觉、医学图像处理和深度学习 。

摘要

恶性的皮肤病变在早期阶段的治愈率极高,基于深度学习的皮肤病诊断研究近年来受到持续关注,其诊断准确率较高,然而计算资源消耗大,且依赖于医院大型计算设备。为在物联网移动设备上实现快速准确皮肤病诊断,提出一种基于IR-VGG(inverted residual visual geometry group)的多分类皮肤病实时诊断系统,使用轮廓检测算法分割出皮肤病图像病灶区域,并用反转残差块替换 VGG16 第一层卷积块以降低网络参数权重和内存开销;将原图像和分割后的病灶图像输入IR-VGG网络,通过全局和局部特征提取后,输出皮肤病诊断结果。实验结果表明,IR-VGG网络结构在SkinData-1和SkinData-2皮肤病数据集上的准确率分别可达到94.71%和85.28%,并且可以有效降低复杂度,使诊断系统较容易在物联网移动设备上进行皮肤病实时诊断。

关键词: 皮肤病 ; 边缘检测分割 ; 反转残差块 ; 深度学习 ; 物联网移动设备

Abstract

Malignant skin lesions have a very high cure rate in the early stage.In recent years, dermatological diagnosis research based on deep learning has been continuously promoted, with high diagnostic accuracy.However, computational resource consumption is huge and it relies on large computing equipment in hospitals.In order to realize rapid and accurate diagnosis of skin diseases on Internet of things (IoT) mobile devices, a real-time diagnosis system of multiple categories of skin diseases based on inverted residual visual geometry group (IR-VGG) was proposed.The contour detection algorithm was used to segment the lesion area of skin image.The convolutional block of the first layer of VGG16 was replaced with reverse residual block to reduce the network parameter weight and memory overhead.The original image and the segmented lesion image was inputed into IR-VGG network, and the dermatological diagnosis results after global and local feature extraction were outputed.The experimental results show that the IR-VGG network structure can achieve 94.71% and 85.28% accuracy in Skindata-1 and Skindata-2 skin diseases data sets respectively, and can effectively reduce complexity, making it easier for the diagnostic system to make real-time skin diseases diagnosis on IoT mobile devices.

Keywords: skin lesions ; edge detection segmentation ; inverted residual ; deep learning ; Internet of things mobile devices

PDF (8362KB) 元数据 多维度评价 相关文章 导出 EndNote| Ris| Bibtex  收藏本文

本文引用格式

谈玲, 荣杉山, 夏景明, SajibSarker, 马雯杰. 基于IR-VGG的多分类皮肤病实时诊断. 物联网学报[J], 2021, 5(3): 115-125 doi:10.11959/j.issn.2096-3750.2021.00217

TAN Ling. Real-time diagnosis of multi-category skin diseases based on IR-VGG. Chinese Journal on Internet of Things[J], 2021, 5(3): 115-125 doi:10.11959/j.issn.2096-3750.2021.00217

1 引言

皮肤恶性病变大概率会发生癌变。早期诊断和治疗癌前皮肤病变可以较好地预防癌症的发生。世界卫生组织(WHO, World Health Organization)的统计数据表明,全球每年发生200万至300万例非黑色素瘤皮肤癌和132万例黑色素瘤皮肤癌[1-2]。一般来说,皮肤病变的诊断需要经验丰富的皮肤科专家对病变图像进行细致的人工检查。随着物联网的发展,人体传感器网络、人工智能、云计算和无线网络通信让认知医疗服务、远程健康监控、健康指导和反馈可以通过多种传感器进行数据融合帮助实现。本文提出一种基于计算机视觉技术的皮肤病实时诊断系统,该系统资源消耗较少,便于移植到移动设备上,患者可通过手机等智能设备实现皮肤病初诊,从而为皮肤病患者提供快捷可靠的物联网化公共医疗服务奠定了基础。

传统的病灶检测方法主要靠人工的ABCDE规则(不对称、边界、颜色、皮镜结构和进化)[3]、3点检查表[4]、7 点检查表[5]、Menzies方法[6]和CASH (颜色、建筑、对称、均匀)[7]特征等方法进行特征提取。

近年来,计算机视觉在物联网医疗服务和医学影像智能诊断中开始获得应用。其自主检测病变的优势减少了对皮肤科医生的依赖。基于图像处理的皮肤病诊断包括:图像输入、病灶点特征提取和特征分类3部分。目前许多算法提出了自动皮镜图像分析。文献[8,9,10,11]全面总结了过去几十年的相关工作。总的来说,用计算机辅助分析模型通常包括以下4个步骤:1) 图像预处理,如去除毛发[12,13,14]和图像增强[15-16];2) 边界检测或分割[17];3) 特征提取,即颜色、纹理、边界梯度、形状相关描述符[17-19];4) 分类,如k-近邻(KNN, k-nearest neighbor)分类算法[18]、支持向量机(SVM, support vector machine)[17], AdaBoost分类器[20]等。现有的研究大多是进行特征提取工程和分类,并且假设输入图像中包含一个完整的、大小合适的病灶图像[19]。但是皮肤镜图像有时无法捕获整个病灶区域,或病灶区域只占图像的一小部分。一些研究建议使用BOF(bag-of-feature)图像检索算法在复杂情况下检测局部病变特征[20]。尽管BOF图像检索算法中的特征编码如基本直方图[21]、VLAD(vector of local aggregated descriptors)[22]特征方法和FV(fisher vector)[23]已经广泛应用于多图像分类任务中[24]。但是这种手动提取特征的方式只能有限提高分类性能,此外这些方法复杂烦琐的操作步骤使其不适用于临床实践。

与手工提取特征不同,卷积神经网络(CNN, convolutional neural network)近来在图像识别领域中占据了主导地位[25,26,27,28]。卷积神经网络的主要优势在于其可靠的视觉表示能力,能对给定的训练数据集进行识别和检测[29],Jayalakshmi等[30]在卷积神经网络中加入批标准化操作,减小了模型的过拟合,在皮肤损伤图像的二分类中获得较好的分类效果,对国际皮肤影像协作组织(ISIC, International Skin Imaging Collaboration)的良性和恶性皮肤损伤的识别精度达到89.3%。胡海根等[31]通过掩盖的数据增强与深度卷积残差网络相结合的集成分类方法对黑色素瘤的诊断进行预测,通过随机和非随机掩盖的数据增强法增加了训练数据集的数量,但是对提取病灶区域的关键信息意义不大,精度为86.7%。Yu 等[32]提出用于分割的全卷积神经网络和用于分类的深度残差网络,识别精度达到85.5%。Mahbod等[33]通过多尺度、多网络集成的迁移学习对皮肤损伤分类,该方法分别以多个尺寸作为网络特征输入,由3个网络通道作为特征提取器,最后获得分类结果,该方法仅通过少量的皮肤损伤图片的训练便可得到较好的分类效果。李航等[34]通过迁移学习将预训练的 ResNet-152 的残差神经网络用来提取皮肤病变的深度卷积层特征,然后利用 SVM 对提取的黑色素瘤特征进行分类。Guha 等[35]使用自定义的卷积神经网络和 VGG16 进行迁移学习对多种皮肤疾病进行分类,与直接使用卷积神经网络架构相比,该方法识别准确率更高。Chen 等[36]在云服务器端进行自主的深度学习,构建了一个基于深度学习的全方位皮肤病识别系统。

上述皮肤病分类模型虽然在准确率方面达到了较高水平,但其权重参数都非常大。上述模型也难以在高分辨率图像上达到实时的诊断速度,所以在计算资源和内存资源受限的移动设备上难以应用,也不适用于移动公共医疗服务。

解决这一问题不仅要保证皮肤病诊断的准确率,还需要减少计算资源消耗,加快计算速率,这对皮肤病诊断模型提出了极高的要求。为此本文设计了一个可以在移动端设备上运行的基于IR-VGG 的多分类皮肤病实时诊断系统,本文主要贡献如下。

1) 对皮肤病图片进行轮廓检测和分割,筛除图片噪声。

2) 将分割后的图片和原图片同时输入特征提取器,分别提取病灶区域局部特征和皮肤病图像的全局特征,以此提升诊断模型的精准性和鲁棒性。

3) 提出IR-VGG,利用反转残差块在特征提取初期减少网络参数量,保留大量特征信息。

4) 使用 TensorFlow Lite 框架将皮肤病分类模型移植到Android系统的移动设备上运行。

本文所提出的皮肤病诊断系统结合边缘检测分割算法和IR-VGG网络结构,一方面,通过提取全局和局部特征进行分析,提高诊断模型在皮肤疾病分类中的性能,降低医疗诊断的误诊概率;另一方面,引入反转残差块改进 VGG16 网络结构,降低诊断模型的算法复杂度,保证医疗服务在移动设备上运行的实时性。

2 本文方法

本文构建了一个IR-VGG的多分类皮肤病实时诊断模型用于诊断皮肤疾病,该模型包括数据预处理、特征提取和分类识别3部分。首先数据预处理模块对图片中病灶区域进行边缘检测,获得分割数据集与原数据集组合成的新数据集并进行数据增强。将该增强后的训练样本进行特征提取,特征提取器包含反转残差块和卷积神经网络模块。最后通过全连接层和 softmax 分类器获得分类结果。基于IR-VGG 的多分类皮肤病实时诊断系统网络结构如图1所示,图中BCC(basal cell carcinoma)表示基底细胞瘤、BKL(benign keratinitis)表示良性角质炎、MEL(melanoma)表示黑色素瘤、NV(nevus)表示痣。

图1中数据预处理部分由轮廓分割和数据增强组成,原始数据集先对图片病例部位进行边缘检测和分割,将分割后的数据集同原数据集一起进行旋转、裁剪等数据增强操作,最后合并为一个数据集作为特征提取器的输入。

图1

图1   基于IR-VGG的多分类皮肤病实时诊断系统网络结构


特征提取部分由IR-VGG组成,前半部分为4 个反转残差块,其纺锤型的架构可以提取更多的特征,并且可以减少网络参数的产生。后半部分包含4个不同的卷积块,每一个块内包含若干卷积层和一个池化层,这样可以提取更多的特征细节,提高诊断结果准确率。

分类识别模块由两个全连接层和一个 softmax分类器组成,对提取到的特征信息分类,得到图像在每个分类下的最终分类概率F={f1,f2,f3,f4}。其中, f1表示识别为BCC的概率,f2表示识别为BKL的概率,f3表示识别为 MEL 的概率,f4表示识别为NV的概率。

2.1 边缘检测与分割

通过边缘检测,把病变严重的区域单独分割出来,减少边缘外区域的信息干扰,使得特征提取器能更加注重病变区域的特征提取[37]。边缘检测与分割过程如图2所示,主要包括灰度化处理、二值化、阈值设定和涂色4个部分。

图2

图2   边缘检测与分割过程


边缘检测与分割实现步骤如下。

步骤1 对每个对象的像素进行灰度化处理[38]

步骤2 对灰度图像进行进一步二值化处理。

步骤3 计算每个二值化图像中像素Pi = 255的区域面积Ar,若Ar<A0,则认为该区域为噪声区域,将其剔除,其中A0为预设阈值。

步骤 4 对每幅图像的剩余区域重新涂色,获得分割后图像。

步骤 5 对经过边缘检测和分割预处理后得到的病灶图片进行区域特征提取,同时对原图像进行全局特征提取,再对两次提取的特征加权平均以获得更多的特征信息。

通过分割提取病灶局部特征,过滤噪声干扰,诊断模型得以更精确地定位皮肤病类型,减少误诊。将原图像再次输入提取全局特征,以此提高诊断模型对潜伏性较深的皮肤病的灵敏性,降低漏诊概率。实验结果表明,本文所提的边缘检测和分割算法对危险性较大的皮肤疾病(如MEL)有更高的召回率。

2.2 IR-VGG

传统的 VGG16[39]卷积神经网络以 224×224×3的RGB图像作为输入,VGG16虽然网络结构简单,但是存在参数量庞大的问题,不适合在内存等资源受限的情况下使用。针对这一问题,本文设计了一种改进的VGG卷积神经网络IR-VGG。

IR-VGG 将每个原始皮肤病图像与分割后的图像组合,分别输入特征提取器后得到分类结果P ={p1, p2, p3, pi},Q = {q1, q2, q3, qi},其中集合P为原始图像识别后得到的概率集合,集合Q为分割后图像样本识别的概率集合,取两个集合中的最大值作为最终结果Result,Result=max{max{P}, max{Q}},具体实现过程如下。

步骤 1 输入的皮肤病图像样本 Shape=(224×224×3),初始通道数为3。反转残差块首先对皮肤病样本进行多次扩张、深度卷积和压缩,得到第一层输出特征OutputShape1 = (14×14×64)。

步骤 2 使用最大池化层下采样,去除冗余信息,得到下一层卷积神经网络模块的特征输入InputShape = (7×7×64)。

步骤 3 将特征输入含有卷积神经网络的Block 模块中提取深度的特征信息,并输出特征向量OutputShape2 = (1×1×512)。

步骤 4 最后通过全连接层,连接 softmax 分类器获得分类概率Result。

使用反转残差块对输入的 224×224×3 的 RGB图像先进行一次特征提取,得到14×14×64的输出,这样不仅对VGG16的输入部分进行降高降宽操作,同时还将原始图像的特征保存到输出中,保证原始图像的特征不会因为过度缩放而丢失大量的特征信息。在压缩模型的同时,依旧保持模型提取特征的性能。

3 实验与结果分析

为了证明IR-VGG皮肤病诊断模型的性能,本节将使用消融实验对文中所提出的方法进行验证,同时与AlexNet、GoogLeNet、ResNet34、ResNet50和 VGG16 等经典方法进行性能对比。采用的方法主要有消融实验、多数据集验证实验、经典网络性能对比和已有分类模型性能对比等。

3.1 实验环境与数据集

实验软件是网页版的 jupyter notebook 集成编译器,后台基于TensorFlow深度学习框架。操作系统为 Ubuntu18.04 系统,中央处理器为 Intel Core i9-10940X,图形处理器为 NVDIA GeForce RTX 2080Ti。用于嵌入深度学习网络模型的移动端设备是 HUAWEI P10 Plus 手机,处理器为 Hisilicon Kirin 960,运行内存为 6 GB,移动操作系统为Android 9.0。

由于ISIC提供的ISIC_2018[40]皮肤病图像数据集存在较严重的数据量不平衡问题,本文构建了一个中型皮肤病图像数据集SkinData,SkinData数据集的组成如表1所示,该数据集包括BCC、BKL、MEL、NV四大类,共计11 817张图片。每类皮肤病图像都分为训练集和测试集,按照4:1的比例划分,其中训练集样本数量为9 379张,测试集样本数量为2 438张。

表1   SkinData数据集的组成

皮肤病种类BCCBKLMELNV
实例
训练集样本数量2 1272 1002 4562 696
测试集样本数量531524615768

新窗口打开| 下载CSV


3.2 实验效果评估

在训练过程中,通过消融实验对本文模型分别验证边缘检测分割算法和IR-VGG的性能。实验1为含有边缘检测分割算法和使用IR-VGG的模型;实验2为只含有边缘检测分割算法的模型;实验3为只使用IR-VGG的模型;实验4为不含边缘检测分割算法及IR-VGG的模型。使用准确率和损失函数迭代曲线初步评估4个实验模型的性能,消融实验准确率、损失函数迭代曲线如图3所示。

图3(a)和图3(b)进一步分析,发现实验1的准确率提升与损失率下降的速度高于其他 3 个实验,最后的收敛效果优于其他3个实验,表明本文设计的边缘检测分割算法和IR-VGG模型可以使分类性能有显著的提升。实验3的分类性能高于实验2,且远高于实验4,表明IR-VGG特征提取器对分类性能的提高起主要作用。实验2分类性能高于实验4,但低于实验1和实验3,说明边缘检测和分割算法能在一定程度上提升模型的分类效果。为进一步验证上述结论,在对应的验证集上继续进行测试,消融实验混淆矩阵如图4所示。其中图4(a)~图4(d)分别为实验1、实验2、实验3和实验4使用验证集评估后得到的混淆矩阵。

图3

图3   消融实验准确率、损失函数迭代曲线


评估结果表明,实验1使用的分类模型对4种皮肤疾病的分类精度都很高,且精确率值分布均匀。由于没有同时使用 IR-VGG 网络架构和轮廓检测分割进行全局和局部特征提取,实验 2、实验3和实验4的分类结果具有特异性,诊断精度远小于实验 1。医学图像诊断除了考虑整体的分类性能,还需要关注该算法对每种皮肤疾病诊断的准确率和灵敏度,以此来减小诊断过程中的误诊概率。本文通过精确率、召回率和F1分值评价指标来对模型进行进一步的分类性能评估,消融实验评价指标折线如图5 所示。其中图5(a)~图5(d)分别为 4 个实验对 BCC、BKL、MEL 和NV的诊断精度对比。

图4

图4   消融实验混淆矩阵


图5

图5   消融实验评价指标折线


图5中纵坐标评价指标范围为0~1,其值越高,说明该模型的性能越好。从图5(a)~图5(d)皮肤病诊断精度折线中可以发现,实验1的精确率、召回率和F1 分值值均显著高于其他 3 个实验,表明本文所提出的IR-VGG网络和基于轮廓检测的分割算法可以更精确地诊断出皮肤病类型,最大限度地降低误诊率。

3.3 多数据集验证

为了进一步验证本文模型的可靠性和稳定性,构造了SkinData-1与SkinData-2两个不同的皮肤疾病数据集进行验证和评估。其中SkinData-2属于轻量级皮肤疾病数据集,其大小仅为834 MB,IR-VGG在不同数据集的分类性能评估如表2所示,表2中加粗字体为本文模型的实验结果。

3.4 学习率对诊断模型实验结果的影响

学习率(lr)是模型中对分类性能影响较大的参数之一,决定了目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。本文使用随机梯度下降(SGD,stochastic gradient descent)优化器和梯度下降对参数进行优化,并通过实验从学习率为0.001~0.1中选出最优的学习率,不同学习率的性能指标如表3所示,不同学习率下的准确率和损失函数曲线如图6所示,表中加粗字体为本文模型的实验结果。

表2   IR-VGG在不同数据集的分类性能评估

数据集名称实验名称准确率大小耗时
实验194.71%
SkinData-1实验288.97%5.81 GB16 591 s
实验392.46%
实验485.02%
实验185.28%
SkinData-2实验280.12%834 MB4 692 s
实验383.23%
实验479.67%

新窗口打开| 下载CSV


当学习率为 0.05 时,准确率提高到 94.71%,损失率为0.123 7,本文模型的分类性能达到最优效果。在学习率从最优值0.05进一步提高或降低时,损失率都有增加的趋势,因此本文选择0.05作为本文模型的学习率。

表3   不同学习率的性能指标

学习率准确率损失率精确率召回率F1分值
0.00186.77%0.266 589.44%83.79%86.52%
0.00590.13%0.196 190.35%90.86%90.61%
0.0190.75%0.226 287.81%90.98%89.36%
0.0594.71%0.123790.81%94.70%92.71%
0.189.76%0.223 385.03%86.47%85.74

新窗口打开| 下载CSV


3.5 经典网络诊断效果比较

除了对 VGG16 网络结构进行改进之外,本文还探索了其他具有不同深度的 CNN 模型的性能情况,包括8层的AlexNet、34层的ResNet、50层的ResNet以及轻量级卷积神经网络GoogLeNet。为了验证本文方法的可靠性,分别对不同的网络架构使用同样的改进方案来观察其分类性能的变化,不同网络结构对分类性能的影响如图7所示,其中,图7(a)为不同网络结构分类准确率对比,图7(b)为不同网络结构所包含的参数量对比,图7(c)为不同网络结构损失率对比。不同网络结构分类性能结果如表4所示,表4中加粗字体为本文模型使用的方法和实验结果。

表4中Seg+IR的改进方法表示使用边缘检测分割算法和 IR-VGG 算法改进的网络结构,None表示未改进的原始网络结构,对表4分析结果如下。

1) 分类准确率对比:根据图7(a)和表4,在使用改进方案之前,5 种网络分类性能相似,其准确率为85%~86%。AlexNet、GoogLeNet和VGGnet在使用改进方案(边缘检测分割和 IR-VGG)后,分类模型的准确率均得到提高,其中VGGnet提高效果最优,其准确率从85.02%提升到94.71%。

由于 ResNet 网络结构中的残差块使用的是先降维、卷积,再升维的步骤,与改进方案使用的反转残差块(先升维、卷积,再降维)相反,因此本文的改进方案不适用于ResNet网络结构。

图6

图6   不同学习率下的准确率和损失函数曲线


2) 网络结构参数量对比:根据图7(b)和表4,本文改进方案可以大幅降低VGGnet和AlexNet网络结构的参数量,降低分类模型的算法复杂度。其中VGG16(Seg+IR)分类模型的参数量为15.18 MB,可以在目前主流的移动设备上流畅运行。

图7

图7   不同网络结构对分类性能的影响


3) 分类损失率对比:根据图7(c)和表4,仅有 AlexNet 和 VGGnet 网络结构在使用改进方案后,在分类的损失率上有性能的提升。其中VGG16 (Seg+IR)分类模型的损失率在分类模型中最低。

表4   不同网络结构分类性能结果

网络改进方法准确率参数量损失率
AlexNetNoneSeg+IR86.68% 90.43%29.5 MB4.65 MB0.273 20.208 9
GoogLeNetNoneSeg+IR86.01% 90.10%6.76 MB6.32 MB0.140 40.193 8
ResNet34NoneSeg+IR84.64% 77.88%22.8 MB22.7 MB0.308 70.549 9
ResNet50NoneSeg+IR85.84% 63.39%45.75 MB45.8 MB0.255 14.744 6
VGG16None Seg+IR85.02% 94.71%138 MB 15.18MB0.361 4 0.1237

新窗口打开| 下载CSV


综上所述,基于AlexNet和VGG16 的分类模型可以更好地适应本文的改进方案。VGG16(Seg+IR)分类模型的准确率和损失率均比基于AlexNet的分类模型更好,而且其大小为15.18 MB足以在移动设备上流畅运行,因此本文最终选择基于VGG16的改进网络结构。

3.6 不同算法模型性能对比

为了体现本文IR-VGG皮肤病诊断系统通过改进后消耗计算资源少且精度高的优点,表5展示了IR-VGG 网络与其他相关算法模型对比,分别从准确率和模型参数量进行比较。表中加粗字体为本文模型使用的方法和实验结果

表5可知,本文使用的IR-VGG分类器的准确率可达到94.71%,在6种分类模型中排名第二,准确率排名第一的是文献[12]所提方案使用的MSM-CNN特征分类器,准确率为96.3%。从参数量来看,IR-VGG 特征分类器所包含的参数量只有15 MB,在所有分类模型中数量最少;MSM-CNN特征分类器由于使用了多通道、多尺度的分类方法,导致其分类模型所包含的参数量非常巨大,无法适应计算量有限的便携式智能设备。由此可见,本文设计的分类模型可以在保证准确率的前提下,大大减少分类模型的参数量,是智能手机端实现皮肤病诊断的优先选择方案。

3.7 结果分析

通过以上实验可知,本文模型使用边缘检测和分割算法对皮肤病图像病灶区域进行分割,并将其与原图像共同输入特征提取器提取局部和全局特征,可以有效提高皮肤病检测的准确率,且对危险性较大的黑色素瘤的检测更精确。基于改进的 IR-VGG 模型不仅可以获得精确的诊断结果,还可以大幅降低计算资源的消耗。与现有的其他方法相比,本文方法更适用于移动公共医疗服务领域。

表5   IR-VGG网络与其他相关算法模型对比

已有研究工作分类模型准确率参数量问题类型
文献[3]所提方案BN-CNN89.3%/二分类问题
文献[12]所提方案MSM-CNN96.3%很大多分类问题
文献[15]所提方案Resnet5086.7%46 MB二分类问题
文献[13]所提方案Resnet15286.28%117 MB二分类问题
文献[14]所提方案VGG16(迁移)91.07%138 MB多分类问题
本文模型IRVGG94.71%15MB多分类问题

新窗口打开| 下载CSV


4 结束语

为解决传统皮肤病诊断计算资源消耗大、实时性差的问题,提高公共医疗服务质量,实现数据共享互联的物联网医疗服务体系,本文提出一种基于IR-VGG 的多分类皮肤病实时诊断系统。在传统的VGG16分类算法中,引入反转残差块、边缘检测分割、全局和局部特征提取,不仅实现了皮肤病诊断准确率的提升,而且其网络的参数量比 VGG16 降低了90%。在数据集SkinData-1、SkinData-2上进行的实验结果表明,本文所提模型的准确率分别为94.71%、85.28%,比VGG16提升了9.69%、5.61%,而本文模型所消耗的计算资源仅为VGG16的1/10。表明本文模型在计算资源有限和实时性要求较高情况下,可以有效解决皮肤病实时诊断问题,为提高公共医疗服务质量提供了一种可行的解决方案。同时展望之后可以建立算力更充足的物联网计算基站,本文的计算设备作为边缘子节点,将采集的数据和初诊结果上传至物联网计算基站进行数据挖掘和分析,从而形成完备的物联网医疗服务体系。

参考文献

ATLANTA.

American cancer society

[N]. Cancer Facts & Figures, 2018.

[本文引用: 1]

斯璐, 郭军 .

新版中国黑素瘤诊治指南解读

[J]. 临床肿瘤学杂志, 2012,17(2): 172-173.

[本文引用: 1]

SI L , GUO J .

Interpretation of clinical practice guidelines for management of melanoma in China (new version of 2011)

[J]. Chinese Clinical Oncology, 2012,17(2): 172-173.

[本文引用: 1]

KASMI R , MOKRANI K .

Classification of malignant melanoma and benign skin lesions:implementation of automatic ABCD rule

[J]. IET Image Processing, 2016,10(6): 448-455.

[本文引用: 2]

SOYER H P , ARGENZIANO G , ZALAUDEK I ,et al.

Three-point checklist of dermoscopy

[J]. Dermatology, 2004,208(1): 27-31.

[本文引用: 1]

ARGENZIANO G , CATRICALÀ C , ARDIGO M ,et al.

Seven-point checklist of dermoscopy revisited

[J]. British Journal of Dermatology, 2011,164(4): 785-790.

[本文引用: 1]

MENZIES S W .

A method for the diagnosis of primary cutaneous melanoma using surface microscopy

[J]. Dermatologic Clinics, 2001,19(2): 299-305.

[本文引用: 1]

HENNING J S , DUSZA S W , WANG S Q ,et al.

The CASH (color,architecture,symmetry,and homogeneity) algorithm for dermoscopy

[J]. Journal of the American Academy of Dermatology, 2007,56(1): 45-52.

[本文引用: 1]

XIE F Y , FAN H D , LI Y ,et al.

Melanoma classification on dermoscopy images using a neural network ensemble model

[J]. IEEE Transactions on Medical Imaging, 2017,36(3): 849-858.

[本文引用: 1]

ALI A R A , DESERNO T M .

A systematic review of automated melanoma detection in dermatoscopic images and its ground truth data

[C]// Proceedings of SPIE Medical Imaging:Image Perception,Observer Performance,and Technology Assessment. 2012.

[本文引用: 1]

KOROTKOV K , GARCIA R .

Computerized analysis of pigmented skin lesions:a review

[J]. Artificial Intelligence in Medicine, 2012,56(2): 69-90.

[本文引用: 1]

JAMIL U , KHALID S .

Comparative study of classification techniques used in skin lesion detection systems

[C]// Proceedings of 17th IEEE International Multi Topic Conference 2014. Piscataway:IEEE Press, 2014: 266-271.

[本文引用: 1]

BI L , KIM J , AHN E ,et al.

Automatic melanoma detection via multi-scale lesion-biased representation and joint reverse classification

[C]// Proceedings of 2016 IEEE 13th International Symposium on Biomedical Imaging (ISBI). Piscataway:IEEE Press, 2016: 1055-1058.

[本文引用: 3]

HUANG A , KWAN S Y , CHANG W Y ,et al.

A robust hair segmentation and removal approach for clinical images of skin lesions

[C]// Proceedings of 2013 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). Piscataway:IEEE Press, 2013: 3315-3318.

[本文引用: 2]

SÁEZ A , SERRANO C , ACHA B .

Model-based classification methods of global patterns in dermoscopic images

[J]. IEEE Transactions on Medical Imaging, 2014,33(5): 1137-1147.

[本文引用: 2]

IYATOMI H , CELEBI M E , SCHAEFER G ,et al.

Automated color calibration method for dermoscopy images

[J]. Computerized Medical Imaging and Graphics, 2011,35(2): 89-98.

[本文引用: 2]

SCHAEFER G , RAJAB M I , CELEBI M E ,et al.

Colour and contrast enhancement for improved skin lesion segmentation

[J]. Computerized Medical Imaging and Graphics, 2011,35(2): 99-104.

[本文引用: 1]

CELEBI M E , KINGRAVI H A , UDDIN B ,et al.

A methodological approach to the classification of dermoscopy images

[J]. Computerized Medical Imaging and Graphics, 2007,31(6): 362-373.

[本文引用: 3]

GANSTER H , PINZ P , ROHRER R ,et al.

Automated melanoma recognition

[J]. IEEE Transactions on Medical Imaging, 2001,20(3): 233-239.

[本文引用: 1]

XIE F Y , FAN H D , LI Y ,et al.

Melanoma classification on dermoscopy images using a neural network ensemble model

[J]. IEEE Transactions on Medical Imaging, 2017,36(3): 849-858.

[本文引用: 2]

CAPDEHOURAT G , COREZ A , BAZZANO A ,et al.

Toward a combined tool to assist dermatologists in melanoma detection from dermoscopic images of pigmented skin lesions

[J]. Pattern Recognition Letters, 2011,32(16): 2187-2196.

[本文引用: 2]

LAZEBNIK S , SCHMID C , PONCE J .

Beyond bags of features:spatial pyramid matching for recognizing natural scene categories

[C]// Proceedings of 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06). Piscataway:IEEE Press, 2006: 2169-2178.

[本文引用: 1]

CHEN S J , DING G G , LI C X ,et al.

Image representation optimization based on locally aggregated descriptors

[C]// Proceedings of Advances in Knowledge Discovery and Data Mining. 2016.

[本文引用: 1]

SÁNCHEZ J , PERRONNIN F , MENSINK T ,et al.

Image classification with the fisher vector:theory and practice

[J]. International Journal of Computer Vision, 2013,105(3): 222-245.

[本文引用: 1]

CHATFIELD K , LEMPITSKY V , VEDALDI A ,et al.

The devil is in the details:an evaluation of recent feature encoding methods

[C]// Proceedings of the British Machine Vision Conference(2011). 2011.

[本文引用: 1]

SONG Y Y , ZHANG L , CHEN S P ,et al.

Accurate segmentation of cervical cytoplasm and nuclei based on multiscale convolutional network and graph partitioning

[J]. IEEE Transactions on Biomedical Engineering, 2015,62(10): 2421-2433.

[本文引用: 1]

HE K M , ZHANG X Y , REN S Q ,et al.

Deep residual learning for image recognition

[C]// Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway:IEEE Press, 2016: 770-778.

[本文引用: 1]

KRIZHEVSKY A , SUTSKEVER I , HINTON G E .

ImageNet classification with deep convolutional neural networks

[J]. Communications of the ACM, 2017,60(6): 84-90.

[本文引用: 1]

SIMONYAN K , ZISSERMAN A .

Very deep convolutional networks for large-scale image recognition

[J]. arXiv preprint arXiv:1409.1556, 2014.

[本文引用: 1]

LECUN Y , BENGIO Y , HINTON G .

Deep learning

[J]. Nature, 2015,521(7553): 436-444.

[本文引用: 1]

JAYALAKSHMI G S , KUMAR V S .

Performance analysis of convolutional neural network (CNN) based cancerous skin lesion detection system

[C]// Proceedings of 2019 International Conference on Computational Intelligence in Data Science (ICCIDS). Piscataway:IEEE Press, 2019: 1-6.

[本文引用: 1]

胡海根, 孔祥勇, 周乾伟 ,.

基于深层卷积残差网络集成的黑色素瘤分类方法

[J]. 计算机科学, 2019,46(5): 247-253.

[本文引用: 1]

HU H G , KONG X Y , ZHOU Q W ,et al.

Melanoma classification method by integrating deep convolutional residual network

[J]. Computer Science, 2019,46(5): 247-253.

[本文引用: 1]

YU L Q , CHEN H , DOU Q ,et al.

Automated melanoma recognition in dermoscopy images via very deep residual networks

[C]// Proceedings of IEEE Transactions on Medical Imaging. Piscataway:IEEE Press, 2019: 994-1004.

[本文引用: 1]

MAHBOD A , SCHAEFER G , WANG C L ,et al.

Transfer learning using a multi-scale and multi-network ensemble for skin lesion classification

[J]. Computer Methods and Programs in Biomedicine, 2020,193: 105475.

[本文引用: 1]

李航, 余镇, 倪东 ,.

基于深度残差网络的皮肤镜图像黑色素瘤的识别

[J]. 中国生物医学工程学报, 2018,37(3): 274-282.

[本文引用: 1]

LI H , YU Z , NI D ,et al.

Melanoma recognition in dermoscopy images via deep residual network

[J]. Chinese Journal of Biomedical Engineering, 2018,37(3): 274-282.

[本文引用: 1]

GUHA S R , M RAFIZUL HAQUE S .

Convolutional neural network based skin lesion analysis for classifying melanoma

[C]// Proceedings of 2019 International Conference on Sustainable Technologies for Industry4.0 (STI). Piscataway:IEEE Press, 2019: 1-5.

[本文引用: 1]

CHEN M , ZHOU P , WU D ,et al.

AI-Skin:skin disease recognition based on self-learning and wide data collection through a closed-loop framework

[J]. Information Fusion, 2020,54: 1-9.

[本文引用: 1]

ZAFAR K , GILANI S O , WARIS A ,et al.

Skin lesion segmentation from dermoscopic images using convolutional neural network

[J]. Sensors, 2020,20(6): 1601.

[本文引用: 1]

MARQUES O .

Gray-level transformations

[M]. New Jersey: John Wiley & Sons, 2011.

[本文引用: 1]

CHENG S H , SHANG G C , ZHANG L .

Handwritten digit recognition based on improved VGG16 network

[C]// Proceedings of SPIE 11069,Tenth International Conference on Graphics and Image Processing (ICGIP 2018). 2019.

[本文引用: 1]

CODELLA N , ROTEMBERG V , TSCHANDL P ,et al.

Skin lesion analysis toward melanoma detection 2018:A challenge hosted by the international skin imaging collaboration (ISIC)

[J]. arXiv preprint arXiv:1902.03368, 2019.

[本文引用: 1]

/