论文阅读——TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification
基于对抗神经网络的拓扑排序的三重损失函数用于视网膜血管动静脉分类分割
From MICCAI2020
腾讯天衍实验室
Abstract
视网膜动静脉分割是视网膜血管定量分析的基础，与许多心脑血管疾病的诊断有关。而血管的拓扑连接关系有助于提升常规自然血管的动静脉的分类效果。本文则提出了一种拓扑排序的对抗神经网络提升血管分割的连接性，进一步提升动静脉分类的效果。
本文使用基于序数回归的判别器对GT、生成的动静脉掩膜图以及任意翻转的掩膜进行拓扑排序，排序损失还可以通过反向传播帮助生成器生成更好的动静脉掩膜；除此之外还使用一个三重损失的拓扑结构保留模块来提取高级的血管拓扑特征，从而缩小预测值与真值之间的差距。
本文提出的方法可以有效提升分割图谱中血管的连通性，在公开的AV-DRIVE数据集上的动静脉血管分类任务中取得了SOTA。
Section I Introduction
视网膜动静脉的形态学变化是许多系统、心脑血管疾病的预告。比如如果动脉逐渐遍照静脉越来越宽就有患高血压和糖尿病的风险，因此精确的视网膜血管动静脉分类对临床诊断意义十分重大。 近年来自动化进行动静脉血管分类已有诸多研究，前人的工作通常将整个过程分为两大阶段：
第一阶段进行血管分割，第二阶段对分割后的血管进行动静脉分类。
根据这一过程中是否接住了拓扑结构信息，可进一步将前人的研究工作氛围：纯特征的方法和基于图的方法。
其中基于图的方法首先会对每一血管建立结构树，然后利用血管的连接、交叉关系得到进一步动静脉的分类结果，这种方法被证实可以有效提升动静脉的分类精度。
近期，深度学习算法也被用于动静脉分类任务，从而使得端到端的训练方法成为现实，同时还去除了第一阶段血管分割这一步骤。
比如Xu[19]等人首次使用UNet同时完成动静脉的分割；Fraz[1]等人也是基于编解码结构的FCN网络进行像素级别的动静脉分类；还有Ma[9]等人将血管分割与动静脉分类处理为同时进行的多任务，也在DRIVE数据集上取得了SOTA。 虽然基于深度学习算法可以达到很好的动静脉分类精度，但是问题之一是动静脉连接有限，自然情况下这些动脉和静脉应该自然连接。就像前文提到的通过不同血管之间的拓扑连接关系可以弥补这一问题。
但是据我们所知，将血管的拓扑连接关系结合深度学习算法用于动静脉分类这方便还鲜有人研究，如何借助这一连接关系提升预测出的动静脉的连接性仍有很大的研究空间。 为了弥补这方面实验与现实要求的差距，本文提出了TR-GAN：基于拓扑排序的对抗网络用于增加动静脉之间的拓扑连接关系，从而用于提升动静脉的分类精度。
本文是第一个在这方面进行探索的工作。 首先，常用的对抗网络其判别器主要用于辨别输入来自于GT还是生成图像，本文则是基于有序回归的判别器，基于血管连接排序的结果对真的掩膜、假的掩膜以及随机翻转的掩膜进行排序。这一排序损失通过反向传播用于提升分割网络产生连接效果更好的动静脉分割掩膜； 其次，还提出了一个使用三种损失的拓扑结构保存模块用来提取分割掩膜的高阶结构特征，这样可以缩小预测的分割图谱与真值之间的差距。 最后本文的方法在AV-DRIVE数据集上进行了动静脉分类任务，超过了近期取得SOTA的结果一大截。
Section II Method
Fig1展示了TR-GAN的结构，主要包含3部分：
（1）生成器为UNet分割网络 ；
（2）判别器为拓扑排序的判别网络 ；
（3）下方使用三重损失的拓扑结构保存模块。
其中UNget分割网络中使用预训练的ResNet-18作为编码结构，最终解码网络输出的是一个三通道的分割图，分别表示静脉、动脉和整个血管的分割概率图谱； 随后这3通道的生成结果及级联到原始的输入图像后然后喂入拓扑排序鉴别器迎来评估其拓扑结构的i连通性，可以看到GT,生成的掩膜和随机shuffle的掩膜其排序是由高到低的，这一排序后的损失会反向传播用于生成网络的更新。
同时，这三通道的输出我们看到还送入了下方的topology preserving module with triplet loss,用来提取高级的结构特征，这一部分采用预训练的VGG-19网络作为backbone、。提取到的特征用来计算Ltriplet，目的是缩小生成的预测掩膜与真值之间的差距。
Part A Topology Ranking Discriminator
本文中判别器的结构借鉴了PatchGAN的结构，包含6层卷积，输入除了原始图像还有生成器产生的分割图谱级联在后面。 而且判别器不是为了鉴别图像是真是假而是对mask的拓扑结构连接性进行排序。
为了丰富连接性本文还将输入的mask进行随机shuffle、或者随机移除部分血管、变换血管分割的位置等，达到丰富结构连通性的目的。 shuffle到什么程度呢？GT中5-25%的像素被洗掉了，这样就能确保随机shuffle的mask的连通性比GT低。
总之最后的结果就是获得三种不同连接性的mask：
Ground truth,generated mask,shuffled mask.
为了保留不同，mask包含的信息本文还是用有序回归（ordinal regression)来给这三类mask排序，因为ordinal regression就是用来处理不同类别之间有某种顺序关系这种情况下的。
这样就将多类别分类任务转变为了二分类，其中[0,0],[1,0],[1,1]分别代表Ground truth,generated mask,shuffled mask. 其中[x,y]中第一个元素x代表掩膜的拓扑结构是否比shuffle的要好，第二个元素y表示拓扑结构是否比generated mask好。
因此判别器的损失函数表示为：
其中x代表输入的图像，Ls， G(x)， L分别代表shuffle mask，generated mask和GT。通过最小化这一损失函数会促使判别器D学习如何对不同的拓扑结构进行排序。
而反向传播的目的则是为了使得生成器生成的分割图越来越接近高的拓扑结构等级，从而骗过D，因此生成器的损失函数表示为：
Part B Topology Perserving Module with Triplet Loss
使用像素级的损失函数，包括交叉熵损失函数和L1/L2损失函数只能评价较低水平的像素点之间的相似性，却不能衡量预测的分割图谱与GT之间结构的相似性。
因此本文基于预训练的VGG-19网络设计了一个Triplet Loss。 其中GT作为锚样本，生成的maskG（x)作为正样本，shuffle mask作为负样本，Triplet Loss定义为：
其中α是一个边缘超参数，本文默认设置为1.N代表网络一共从多少层提取特征函数，本文分别取第2、4、6、8个卷积块输出的特征图谱因此N=4. Di-1和Di-2分别代表第i层中锚点-正样本和锚点-负样本之间的距离，具体计算如下：
Part C Generator Loss Function
生成器的损失函数：分割网络广泛采用像素级的损失函数-交叉熵来计算分割图谱与真值之间像素级别的差距。本文中的对抗损失和Triplet Loss也会一起优化生成器，因此生成器的损失函数是这三者的加权表示：
而动脉、静脉、血管的占比经验上常取：0.4,0.3,0.3。lambda1和lambda2设置为0.2和0.1.
; Section III Experiment Results
实验采用的数据集包括：
AV-DRIVE：20+20共40张584×565的视网膜眼底图像，还提供了像素级别的标注信息。
INSPIRE-AVR：包含40张2048×2392的视网膜眼底图像，但只提供了动静脉的标签。
训练过程中采样patch大小为256×256，在Tesla P40上进行训练。
优化器：Adam Optimizer
batchsize= 4
Iteration = 300000
Part A 消融实验
主要测试本文提出的不同模块：TR-D（拓扑排序模块），TL（Triplet Loss)的有效性以及使用拓扑排序的判别器比通用判别器的优越性。
其中动静脉分类的评价指标包括：Acc,Sen.Spe. 其中动脉作为正例，静脉作为负例进行计算（虽然目前只针对血管分割的结果进行评估，本文将动静脉分割的结果进行了计算表，这样评价更严格。） Table I展示了使用不同模块对最终分类效果的提升，其中使用GD对抗学习使得分类精度提升了2.4%。
而借助本文提出的TR-D使得动静脉分类精度上升了3.23%，效果比原始的generator效果好；如果在此基础上加入TL可以将分类精度提升至95.46%.
Fig 3展示了（a)真值（b)基线模型（c)TR-GAN动静脉分类结果的对比。可以看到（c)TR-GAN与GT最为接近，有效提升了动静脉血管的拓扑结构连续性。
Part B 与SOTA算法的对比
Table II展示了本文的TR-GAN与其他算法在动静脉分割上的性能对比，基于数据集AV-DRIVE。 其中Xu[19]和Ma[9]都是基于深度学习算法的，剩下的都是基于图的，需要进行前文提及的血管分割和动静脉分类两步骤。 最终本文达到的精度时96.29%比当前最先进的[16]提升了1.59%.
Section IV Conclusion
本文提出了一种新的基于拓扑排序的对抗生成网络，借助拓扑排序和Triplet Loss保存结构信息提升纷动静脉分类的性能，本文提出的这一方法可以有效利用动静脉的拓扑结构来提升动静脉分类精度。
据我们所知，这也是首次尝试在深度学习算法进行动静脉血管分割的任务中利用拓扑结构信息。
在当前研究的基础上，未来我们还将进一步探究全自动血管参数量化系统的可行性，这有望促进临床中探究不同心脑血管疾病是如何影响视网膜血管的。
Original: https://blog.csdn.net/qq_37151108/article/details/110095004
Author: 黄小米吖
Title: 论文阅读——TR-GAN: Topology Ranking GAN with Triplet Loss for Retinal Artery/Vein Classification
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/558000/
转载文章受原作者版权保护。转载请注明原作者出处！