空洞卷积(Dilated Convolution)简介

一、空洞卷积(Dilated Convolution)

Dilated Convolution(空洞卷积/膨胀卷积)是在标准的 convolution map 里注入空洞,以此来扩大感受野。膨胀卷积与普通的卷积相比:除了卷积核的大小以外,还有一个扩张率(dilation rate)参数,主要用来表示膨胀的大小。在普通卷积中,可以认为它的dilated rate = 1。

感受野(receptive field):CNN中,某一层输出结果中一个元素所对应的输入层的区域大小,感受野是卷积核在图像上看到的大小,例如3×3卷积核的感受野大小为9。越大的感受野包含越多的上下文关系。

适用情况:在图像需要全局信息、语音文本需要较长的sequence信息依赖的问题。

膨胀卷积:保持参数个数不变的情况下增大了卷积核的感受野,让每个卷积输出都包含较大范围的信息。与此同时,它可以保证输出的特征映射(feature map)的大小保持不变。对比传统的conv操作,3层3×3的卷积加起来,stride为1的话,只能达到(kernel-1)*layer+1=7的感受野,也就是和层数layer成线性关系,而膨胀卷积的感受野是指数级的增长。

1.Standard Convolution with a 3 x 3 kernel (and padding):

空洞卷积(Dilated Convolution)简介
2.Dilated Convolution with a 3 x 3 kernel and dilation rate 2:
空洞卷积(Dilated Convolution)简介

; 二、空洞卷积存在的问题

1:The Gridding Effect
假设仅多次叠加 dilation rate 2 的 3 x 3 kernel 的话,则会出现这个问题:kernel 并不连续,也就是并不是所有的 pixel 都用来计算了,因此这里将信息看做 checker-board 的方式会损失信息的连续性。这对 pixel-level dense prediction 的任务来说是致命的。

空洞卷积(Dilated Convolution)简介
2:Long-ranged information might be not relevant.

我们从 dilated convolution 的设计背景来看就能推测出这样的设计是用来获取 long-ranged information。然而光采用大 dilation rate 的信息或许只对一些大物体分割有效果,而对小物体来说可能则有弊无利了。如何同时处理不同大小的物体的关系,则是设计好 dilated convolution 网络的关键。
解决:通向标准化设计Hybrid Dilated Convolution (HDC)

Original: https://blog.csdn.net/qq_45717425/article/details/121439338
Author: Polaris_T
Title: 空洞卷积(Dilated Convolution)简介

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/633042/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球