来自视网膜图像的知识转移进行无标注心脏血

自媒体职招聘微信群 http://www.jpm.cn/article-124253-1.html

-MAR18th

来自视网膜图像的知

识转移进行无标注

心脏血管分割

晟视分享

1.摘要

分割冠状动脉具有挑战性，是因为经典的无监督方法无法产生令人获得满意的结果。现代深度学习的方法需要手动标注，这通常很耗时，有时甚至不可行。为了解决这个问题，本文介绍一种基于知识转移、形状一致的生成对抗网络(SC-GAN)[1]，这是一种无标注方法。它是使用公开眼底数据集来分割冠状动脉。本文所介绍的网络是以端到端的方式进行训练，生成和分割合成图像，以维持冠状动脉造影的背景并保留视网膜血管和冠状动脉的血管结构。

2.方法

SC-GAN是一种域适应的图像融合策略，其关键点在于确保生成的图像具有和sourcedomain以及targetdomain相同的血管结构。

如图1所示，具有shapeconsistency约束的generator，生成融合图(FakeB)。其中shapeconsistenc想要保证融合图具有和sourcedomain(RealA)相同的视网膜血管结构，通过sourcedomain自带的分割标注可以确保；同时shapeconsistency也使得融合图具有和targetdomain(RealB)相同的冠状动脉结构，sourcedomain是有手工标签的视网膜血管，而targetdomain没有手工金标准的标签，因此用Frangifilter得到的结果作为targetdomain的伪标签，确保大体上targetdomai中的血管结构能够出现在融合图中。

图1一种无需新的手动注释的冠状动脉分割的端到端方法[1]

Segmentor来完成分割任务。具有两种血管结构和targetdomain风格的融合图，以及其对应的生成标签作为网络的输入。注意此处生成的标签包含了真实的sourcedomain的手工标签和targetdomain的伪标签。

3.实验

来自DRIVE[2]数据集包括40个眼底图像，带有手动注释的视网膜血管。还收集了个冠状动脉造影(DSA)，没有标注作为知识转移的目标域。对眼底图像执行了几种预处理方法，包括彩色到灰度变换、中值滤波和对比度受限的自适应直方图均衡。

为了评估所提SC-GAN网络的有效性，本文比较了四种分割方法：

1）Frangi算法。多尺度Frangi血管分析用于分割冠状动脉。

2）经典U-Net。使用Frangi算法结果作为训练U-Net模型的学习目标。

3）AddU-Net。使用眼底图像和DSA图像的平均值训练U-Net模型。

4）SC-GAN提出的形状一致GAN。

4.结果

4.1图像合成

SC-GAN与Cycle-GAN[3]的结果相比，提出的SC-GAN的合成图像具有更逼真的DSA背景，并且还保留了与标签相对应的血管结构（参见图2中的(c)和(d)列）。

图2SC-GAN和Cycle-GAN的比较。(a)眼底切片，(b)DSA切片，(c)合成图像，(d)合成标签。[1]

4.2图像分割

DSA数据集(张)中张图像进行标注，并在其上评估所提出的模型血管分割结果。表1比较了不同方法的性能，Frangi算法的Dice得分为0.±0.，如果使用Frangi算法的结果作为标注来训练一个U-Net(经典U-Net)，则Dice分数降低到0.±0.。AddU-Net和SC-GAN都具有更高的Dice分数(0.±0.和0.±0.)，而且SC-GAN在准确率和召回率方面也优于其他方法。图3显示了测试集中的一些典型示例，(d-e)列显示出比(b-c)列更好的结果，表明知识转移有效地增强了小血管的识别，通过比较AddU-Net和SC-GAN的结果，还可以发现GAN在知识转移质量方面优于平均水平。

表1不同方法对血管分割的评估

图3不同血管分割模型的示例。(a)原始图像，(b)Frangi算法，(c)经典U-Net，(d)AddU-net，(e)所提SC-GAN，(f)真实标签。[1]

4.参考文献

[1]YuF,ZhaoJ,GongY,etal.Annotation-FreeCardiacVesselSegmentationviaKnowledgeTransferfromRetinalImages[J].arXiv,.

[2]Staal,J.,Abr`amoff,M.D.,Niemeijer,M.,Viergever,M.A.,VanGinneken,B.:Ridge-basedvesselsegmentationincolorimagesoftheretina.IEEEtransactionsonmedicalimaging23(4),–()

[3]Zhu,J.Y.,Park,T.,Isola,P.,Efros,A.A.:Unpairedimage-to-imagetranslationusingcycle-consistentadversarialnetworks.In:ProceedingsoftheIEEEInternationalConferenceonComputerVision.pp.–()