论文传送门
https://arxiv.org/pdf/1807.10165.pdf
U-Net网络缺陷
U-Net 网络对病变或异常的医学图像缺乏更高的精准性。由于 U-Net 中 Encoder 和 Decoder 网络的特征层是通过长连接直接相连的，作者认为这会产生 语义鸿沟（我理解的语义鸿沟就是：Encoder 网络的特征层是下采样提取出的低级特征，而 Decoder 网络的特征层是高级特征经过上采样所得，当他们进行特征图像叠加的时候，由于不是一个尺度的特征，会造成图像的 深层 ( fine-grained ) 细节丢失，比如人的毛发、小瘤附近的微刺等），影响医学图像分割中细胞的微小特征，例如，小瘤附近的细微刺状图案可能预示着瘤的恶性
因此，需要设计更有效的图像分割体系结构，能更有效地恢复医学图像中目标对象的精细细节
网络体系架构
U-Net++ 是基于 U-Net 网络上的改进与创新，结构如下图所示。在 U-Net 中 Encoder 和 Decoder 的U型网络结构基础上，重新设计了一系列 nested (嵌套的)，dense (密集的) skip pathways (跳跃路径)和灵活的网络结构配合 深度监督
（1）在跳跃路径设置卷积层(如绿色所示)，在 Encoder 和 Decoder 网络之间架起语义鸿沟
（2）一系列密集、嵌套的跳跃路径(如蓝色所示)改善了梯度流动
（3）有深度监督(如红色所示)，可以进行 模型剪枝 (model pruning)
改进与创新
Re-designed skip pathways（重新设置跳跃路径 ）
对于 U-Net 网络中直接进行跳跃连接的形式，作者认为这会产生 语义鸿沟
作者认为： 当 Encoder 和 Decoder 网络的特征映射在语义上相似时，优化器能更好的处理学习任务。因此，设计了一系列 nested (嵌套的)，dense (密集的) skip pathways (跳跃路径)，将高分辨率特征图从 Encoder 网络逐渐地和 Decoder 网络中相应语义的特征图优先进行融合，通过叠加的方式整合，以此来获取不同层次的特征。此外，该网络还加入了更浅的U-Net，使得融合的特征图尺度差异更小，更能高效地捕获前景对象的 深层 ( fine-grained ) 细节
Deep supervision（深度监督）
Deep supervision（深度监督）这个概念并不是在该论文中首先提出的，有很多对 U-Net 改进的论文当中也有用到这个概念，其结构如下图所示。在结构
后加上11卷积，相当于去监督每个 level，或者每个分支的 U-Net 的输出。在深度监督中，因为每个子网络的输出都已经是图像分割结果，所以作者使用了 模型剪枝 （model pruning）*的方法，剪枝使得网络有精准模式和快速模式两种，这也是该论文最为精彩且有意思的部分
为什么可以剪枝？
在测试阶段，由于输入的图像只会前向传播，扔掉这部分对前面的输出完全没有影响；而在训练阶段，因为既有前向，又有反向传播，被剪掉的部分 (下图绿色方框为剪掉部分) 会帮助其他部分做权重更新。因此，在测试时，剪掉部分对剩余结构不做影响，训练时，剪掉部分对剩余部分有影响
由此可知，在深度监督的过程中，每个子网络的输出都其实已经是图像的分割结果了，所以如果小的子网络的输出结果已经足够好了，我们可以随意的剪掉那些多余的部分了
如何进行剪枝？剪枝的好处？
将数据集分成训练集和验证集，根据子网络在验证集的结果来决定剪多少，剪枝越多参数越少，在不影响准确率的前提下，剪枝可以降低计算时间
小结
总的来说，U-Net++ 有着两个优势：第一个优势是提高了分割精度，因为它通过长、短链连接相结合的方式，整合了不同层次的特征；第二个优势是灵活的网络结构配合深度监督，可以进行模型剪枝，使参数量巨大的深度网络在可接受的精度范围内大幅度的缩减参数量
Original: https://blog.csdn.net/m0_60875396/article/details/122325240
Author: Andrew Xiao
Title: 【语义分割】U-Net++
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/689280/
转载文章受原作者版权保护。转载请注明原作者出处！