通道注意力模块
使用通道注意力模块的目的：为了让输入的图像更有意义，大概理解就是，通过网络计算出输入图像 各个通道的重要性（权重），也就是哪些通道包含关键信息就多加关注，少关注没什么重要信息的通道，从而达到 提高特征表示能力的目的。
简而言之：注意力机制可对特征进行校正，校正后的特征可保留有价值的特征，剔除没价值的特征。
通道注意力机制步骤：
- 挤压（Squeeze）输入图像 对输入特征图的空间维度进行压缩，这一步可以通过 全局平均池化（GAP） 和 全局最大池化（GMP）（全局平均池化效果相对来说会比最大池化要好），通过这一步。HxWxC的输入图像被压缩成为1x1x
的通道描述符。下方公式输入为SxSxB的feature map：
将全局空间信息压缩到通道描述符，既降低了网络参数，也能达到防止过拟合的作用。 - excitation通道描述符 这一步主要是将上一步得到的通道描述符送到两个全连接网络中，得到注意力权重矩阵，再与原图做乘法运算得到校准之后的注意力特征图。
; 空间注意力模块
使用通道注意力的目的：找到关键信息在map上哪个位置上最多，是 对通道注意力的补充，简单来说，通道注意力是为了找到哪个通道上有重要信息，而空间注意力则是在这个基础上，基于通道的方向，找到 哪一块位置信息聚集的最多。
空间注意力步骤：
- 沿着通道轴应用平均池化和最大池操作，然后将它们连接起来生成一个有效的特征描述符。 注意：池化操作是沿着通道轴进行的，即每次池化时对比的是不同通道之间的数值，而非同一个通道不同区域的数值。
- 将特征描述符送入一个卷积网络进行卷积，将得到的特征图通过激活函数得到最终的空间注意特征图。
具体来说，使用两个pooling操作聚合成一个feature map的通道信息，生成两个2D图: Fsavg大小为1× H× W， Fsmax大小为1× H× W。 _σ_表示sigmoid函数， f7×7表示一个滤波器大小为7×7的卷积运算。
参考链接：
（1）https://blog.csdn.net/u011984148/article/details/109475440
（2）https://zhuanlan.zhihu.com/p/334349672
（3）https://zhuanlan.zhihu.com/p/101590167
349672
（3）https://zhuanlan.zhihu.com/p/101590167
Original: https://blog.csdn.net/qq_42194397/article/details/122556066
Author: aMythhhhh
Title: 通道注意力与空间注意力模块
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/631836/
转载文章受原作者版权保护。转载请注明原作者出处！