LearningHybridRepresentationsforAutomatic3DVesselCenterlineExtraction摘要
从3D医学图像中自动提取血管对应诊断血管疾病非常重要。基于卷积神经网络(CNN)的现有方法可能会在从3D图像分割出此类细管结构时遭受提取血管的不连续性的困扰。我们认为,保持提取血管的连续性需要考虑整体几何形状。但是,3D卷积在计算上效率低下,这阻止了3DCNN足够大的接收场来捕获整个图像中的全局提示。在这项工作中,我们提出了一种混合表示学习方法来应对这一挑战。主要思想是使用CNN来了解图像作物中血管的局部外观,同时使用另一个点云网络来了解整个图像中血管的整体几何形状。在推断阶段,所提出的方法使用CNN提取局部血管段,使用点云网络基于全局几何对每个分割段进行分类,最后使用最短路径算法连接属于同一血管的的所有分段。这种结合导致了一种高效,全自动且无模板的方法来从3D图像中提取中心线。我们在CTA数据集上验证了所提出的方法,并证明了其与传统基准和基于CNN的基准相比均具有出色的性能。
一个CNN提取血管分割结果,一个点云网络分类分割的结果属于哪一段,最后进行合并。
1.简介
提取例如血管的管状物体已经成为许多疾病的计算机辅助诊断(CAD)中的关键任务。例如,血管腔分割和中心线提取是从计算机断层摄影血管造影(CTA)图像进行血管弯曲平面重建(CPR)的先决条件[6],这进一步有助于临床诊断中的狭窄检测和斑块识别。然而,分割血管并从各种医学图像中提取中心线通常是费时的。取而代之的是,自动血管分割和中心线检测在血管疾病的定量分析中起着越来越重要的作用。[1][7][26]。
最近,卷积神经网络(CNN)已广泛应用于3D医学图像分割中。但是,在3D医学图像中分割血管仍然非常困难。血管具有细腻的管状结构,在远距离拓扑中种类繁多,在大多数基于深度学习的分割方法中,无法通过切片或卷积卷积操作捕获[5][9][24]。而且,在医学图像中经常存在成像伪影的情况下,基于CNN的分割算法易于丢失某些血管段,从而导致提取的血管中心线不连续[18][23][28]。为了保持所提取血管的正确拓扑,先前的方法可能依赖于用户输入,该用户注释每个血管的起点和终点[17][22]。然后,可以通过基于成本最小的路径算法[2][4][8][10]找到更完整的血管中心线。为了避免人工输入,确保正确拓扑的另一种方法是从训练样本构建目标血管的地图集或模板,并将模板注册到测试图像[27][28]。但是,这种方法不是很通用,因为测试样品的血管结构可能与模板有很大不同。
在本文中,我们提出了一种用于血管中心线提取的新颖方法,该方法能够确保提取的血管的连通性而无需任何手动输入或血管模板。关键思想是使用逐块3DCNN分割血管遮罩并根据输入图像回归血管中心线热图,同时使用另一个点云网络标记提取的血管段,从而使属于同一段的血管段容器可以在后处理步骤中连接。这种混合方法充分利用了两个方面:用于局部外观学习的逐块CNN和用于全局几何学习的点云网络,从而产生了一种强大而有效的自动中心线提取算法。我们还提出了一种几何感知分组策略,以提高点云网络用于容器标记的性能。在两个数据集上验证了所提出框架的有效性:一个冠状动脉CTA扫描的公共数据集和一个内部头颈CTA扫描的内部数据集。实验结果表明,在提取的中心线的准确性和完整性方面,我们的方法优于现有的基线方法。
总而言之,我们做出了以下贡献:
(1)一种新颖的混合表示学习方法,用于全自动和无模板的血管中心线提取;(2)一种几何感知分组方法,该方法利用骨骼的连接属性来提高容器标记的性能;(3)公开基准上的最新表现。
2.方法
给定一个3DCTA数据,包含一系列2D切片,目标是分割血管和勾画中心线。之前最好的方法是基于CNNs。由于3D卷积昂贵的计算代价,一个3D图像需要被分为重叠的patch然后进入分割网络逐一分割。这导致局限性的局部感受野,可能无法提供足够的信息来区分动脉和静脉,从而导致错误的检测。而且,对于基于patch的CNN提取的血管段的连通性没有保证。一种解决方案是在后处理中连接属于同一血管分支的段。但是要实现这一点,我们需要标记所有段,这对于基于patch的CNN也是困难的,因为血管标记需要考虑血管的整体几何形状。
为了解决这个问题,我们提出混合方法-包含一个基于patch的CNNs进行局部血管分割,一个点云网络进行全局血管标记,一个路径查找算法进行最后中心线提取。图1是本文方法概述。
2.1血管分割
首先,我们使用3DCNNs学习血管局部区域,进行精细血管分割。基于UNet主干网络用于将输入图像转换为分割mask。另外,为了探索长范围上下文信息,我们在UNet中使用双重注意力。最后,使用交叉熵和dice损失的组合作为分割损失。详情见附件。
2.2血管标记
在3DCNNs中缺乏全局信息,血管分割结果往往包含静脉等假阳,并且会遗漏细小或弯曲血管。我们将血管分类到不同分支。然后使用分段结果移除非血管分割结果,并对分割结果进行分组,如图2.血管标记步骤中,首先从血管分割结果中生成代表血管骨架的点云集合,然后使用点云网络预测这些骨架点。
点云生成由于在3D体积中使用CNNs直接标记血管是耗时的,我们提出使用点云集合代表血管骨架。为了从血管分割结果中生成血管骨架,3D细化算法[11]被用于腐蚀血管,最终得到单像素宽的骨架点,如图3所示。生成的骨架由离散无序的点组成,代表血管几何结构。血管标记给定点云数据,血管标记任务是将每一个点云分配一个类别标签。可以采用任何点云网络,例如最新的PointNet++[14]和动态图CNN(DGCNN)[21]。我们将在实验中对它们进行比较。几何感知分组与普通点云相比,骨架点的特定属性是相邻骨架点之间的给定连通性。具体来说,可以使用连接组件标记(CCL)算法将骨架点划分为单独的组件[12]。但是,PointNet++和DGCNN都可以通过基于L2距离的k最近邻(k-NN)算法来对点进行分组,而忽略了给定的血管骨架几何形状。如图4(a)所示,基于L2的方法更有可能对属于不同组件的点进行分组。为了解决此问题并利用骨骼的连接属性,我们提出了一种几何感知分组方法(GAG),可以根据连接关系修改距离。两点之间的修改距离由下式计算:
其中
是权重,
是第n个组件。如图4b所示,GAG中的分组区域倾向于沿着骨架线延伸,并且属于同一连接组件的点更可能被分组。这种设计有助于在同一组件中实现局部特征的一致性,从而提高实验中评估的血管标记的准确性。
2.3中心线提取
在标记血管之后,将为每个血管段分配一个语义标签。语义标签可用于去除非血管组织,并提供连接断开的血管段的指导。具体来说,我们首先确定应连接的线段,然后使用最小成本路径方法将其连接起来,并根据成本图输出最终的中心线。成本图由从其他3DCNN回归的中心线热图和标记的容器骨架构造而成。
中心线热度图回归中心线热图定义为距离图的相反方向,其中距离血管中心线较近的点具有较大的值,而在血管半径之外的点具有向下的低值,如图5(a)所示。考虑到从分割网络获得的概率图仅了解背景与血管之间的差异(例如边缘特征),而不是血管腔内的中心线特征,因此我们采用类似于血管分割中使用的网络的另一个3DCNN进行回归中心线热图。均方误差(MSE)损失用于训练网络。基于中心线热图,我们构建成本图以指导最小成本路径搜索算法,如图5(b)所示。在存在船只分段的区域中,成本图直接将较大的值分配给骨架点(图5(b)中的红线),将较小的值分配给其他点(图5(b)中的灰色区域)。最小成本路径给定血管骨架及其标签,我们依次将不相交的线段与相同的标签合并。根据标签对中两个点之间的距离,将具有相同标签的成对边界点放入优先级队列。我们从队列中连续取出一对,然后用Dijkstra算法[20]找到最小成本路径来连接两个边界点,如图5(c)所示。如果在上一步中由两个点表示的两个线段已连接,则我们将跳过该对并继续直到队列为空。
3.实验
我们在两个数据集上评估了提出的方法:一个公共冠状动脉数据集和一个私人头颈动脉数据集。第一个数据集主要用于将我们的方法与文献中现有的基线方法进行比较。第二个数据集主要用于烧蚀研究,以验证我们的系统设计。接下来[16],基于三个度量标准对提取的中心线进行评估,即总重叠(OV),直到第一个误差的重叠(OF)以及与血管的临床相关部分(OT)重叠。拟议框架的阶段性结果如图8所示。
冠状动脉数据集上的实验该公共数据集包含从诊所收集的用于训练的次心脏CT血管造影(CCTA)扫描和从[16]进行的32次CCTA扫描以进行评估。我们在带注释的冠状动脉CTA图像上训练血管分割网络和血管标记网络,并将血管骨骼标记为三类,包括右动脉,左动脉和假阳性静脉血管。根据头颈动脉数据集中的消融研究,我们将Pointnet++与GAG模块一起用作血管标记网络。表1中列出了定量比较,图7中显示了结果的可视化。我们的混合方法分别在OV和OT方面实现了最高的性能,表明该方法提取的中心线比用其他方法生产的。
在头颈动脉数据集上进行实验
从诊所收集的这个私人数据集包含个CTA扫描,每个扫描都有一个手动标注的血管面罩。数据集分为个扫描进行训练,20个进行验证和50个进行测试。在数据集中,血管骨架被标记为17个类别,包括左右颈总动脉(L/RCCA),左右椎动脉(L/RVA)等。表2显示了我们系统的几种变型的评估结果,不同的点云网络设计。可以看出,通过几何感知分组(GAG)方法,可以提高PointNet++和DGCNN的血管标记精度。图6显示GAG可以促进骨架组件的局部一致性。
4.结论
我们提出了一种基于混合表示的3D血管中心线提取自动和无模板方法,该方法可确保提取的中心线的连通性。我们表明,在学习基于补丁的CNN的局部外观与通过点云网络学习全局几何形状之间的混合,可以形成一种高效而强大的框架,可以从3D数据中提取几何对象。我们证明了在从CTA图像中提取动脉中心线方面的优越性能,并相信所提出的方法也可以应用于其他中心线或骨骼提取任务。
预览时标签不可点收录于话题#个上一篇下一篇
转载请注明:http://www.zhuanjiz.com/gbtt/6831.html