一、Deeplab v1
1、引言
; 2、亮点
3、细节
作用是保证效果不下降的情况下，降低参数和加快速度，否定了fcn的7*7卷积，会成为计算瓶颈。
; 二、Deeplab v2
1、引言
; 2、亮点
3、细节
四个采用不同膨胀系数的膨胀卷积，这样每个分支的感受野大小就是不一样的，从而具备解决多 尺度问题。
使用vgg时才有后面两层全卷积层，使用resnet的话就不用。
把输入图片分别缩放到0.5，0.75，1倍输入网络，将得到的三个score maps进行融合，对每一个pixel取最大值，这种操作对效果有较大提升。
; 三、Deeplab v3
1、引言
; 2、细节
对于级联模型中，训练时下采样到16（batch_size可以设置得更大一点，加速训练），预测是下采样到8（验证结果会好一点）
aspp模型，引入了一个全局平均池化分支。
pytorch官方实现的deeplab v3结构：
注意：v1和v2中计算损失是在上采样之前，对标签进行下采样到同样尺寸进行计算的（为了减少显存消耗，加快速度），但是v3是上采样之后再与标签进行计算损失的。
四、Deeplab v3+
1、引言
2018年发表的。
; 2、亮点
第一节首先介绍Deeplab当前的缺陷，即输出图放大的效果不好，信息太少，因此提到了编码-解码结构
原DeepLabv3当作encoder，添加decoder得到新的模型（DeepLabv3+）。
如下图所示，作者把spatial pyramid pooling module和Encoder-Decoder融合成一体：
相比DeepLabv3，v3+引入了Decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。从某种意义上看，DeepLabv3+在DilatedFCN基础上引入了EcoderDecoder的思路。
把Xception和Depthwise separable convolution应用到Atrous Spatial Pyramid Pooling和decoder中。
3、细节
- Encoder
Encoder就是原来的DeepLabv3，注意点有2点：
输入尺寸与输出尺寸比（output stride = 16），最后一个stage的膨胀率rate为2
Atrous Spatial Pyramid Pooling module（ASPP）有四个不同的rate，额外一个全局平均池化
为了防止encoder得到的高级特征被弱化，先采用1×1卷积对低级特征进行降维（paper中输出维度为48） - Decoder
明显看到先把encoder的结果上采样4倍，然后与resnet中下采样前的Conv2特征concat一起，再进行3×3的卷积，最后上采样4倍得到最终结果
需要注意点：
融合低层次信息前，先进行1×1的卷积，目的是降通道（例如有512个通道，而encoder结果只有256个通道）
DeepLabv3所采用的backbone是ResNet网络，在v3+模型作者尝试了改进的Xception，Xception网络主要采用depthwise separable convolution，这使得Xception计算量更小。改进的Xception主要体现在以下几点： （1）参考MSRA的修改（Deformable Convolutional Networks），增加了更多的层； （2）所有的最大池化层使用stride=2的depthwise separable convolutions替换，这样可以改成空洞卷积 ； （3）与MobileNet类似，在3×3 depthwise convolution后增加BN和ReLU。
采用改进的Xception网络作为backbone，DeepLab网络分割效果上有一定的提升。作者还尝试了在ASPP中加入depthwise separable convolution，发现在基本不影响模型效果的前提下减少计算量。
DCNN部分出现了新的选择：修改后的Xception，其结构如图。
- max pooling结构被stride=2的深度可分离卷积代替
- 更深的Xception结构，并不修改entry flow network结构
- 每个3×3的depthwise convolution都跟BN和Relu
表1和表2介绍了不同解码器配置对应的结果。值得注意的是，更复杂的解码器不一定代表更好的效果。
不同编码器配置的效果如表3（使用ResNet-101）。
其SC，COCO和JFT分别为不同数据集。可以看到，这种方案效果更好，并且数据越多效果越好。
; 总结
DeepLab作为DilatedFCN的典范还是值得学习的，其分割效果也是极其好的。但是由于存在空洞卷积，DeepLab的计算复杂度要高一些，特别是output_stride=8，对于一些要求低延迟的场景如无人车，还是需要更加轻量级的分割模型。 原因：内存访问，空洞卷积代价要比普通卷积大。从CPU访问角度看，空洞卷积内存不连续，存在严重的cache miss 问题，而且不连续，需要多次访存才能获得目标数据。同样的问题，对GPU也是一样的，如果不连续，本来一次可以读到的，得分多次
【参考】
b站：霹雳吧啦Wz
Original: https://blog.csdn.net/EMIvv/article/details/122065628
Author: Shashank497
Title: deeplab V1 V2 V3 V3+系列
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/646071/
转载文章受原作者版权保护。转载请注明原作者出处！