目录
- 1 引言
- 2 介绍
- 3 Conformer模型
* - 3.1 Muti-Headed Self-Attention 模块
- 3.2 卷积模块
- 3.3 Feed forward 前馈模块
- 4 实验分析
- 5 疑问和思考
1 引言
Transformer 模型擅长捕捉基于内容的全局交互，而 CNN 则有效地利用了局部特征。
2 介绍
Transformer 擅长对远程全局上下文进行建模，但它们提取细粒度局部特征模式的能力较差。本文提出将self-Attention与卷积有机结合的方法，自注意力学习全局交互，而卷积有效地捕获基于相对偏移的局部相关性。
3 Conformer模型
Conformer 模块由四个模块堆叠在一起组成，即前馈模块、自注意力模块、卷积模块和最后的第二前馈模块。实验对比，在 Conformer 架构中使用单个前馈模块相比，拥有两个前馈层将注意力和卷积模块夹在中间效果更好。在 self-attention 模块之后堆叠的卷积模块最适合语音识别。
; 3.1 Muti-Headed Self-Attention 模块
这种self-attention 来源于Transformer-XL ，相对正弦位置编码方案。 相对位置编码允许自注意力模块在不同的输入长度上更好地泛化，并且得到的编码器对话语长度的变化更加鲁棒。 使用带有 dropout 的 prenorm 残差单元 ，这有助于训练和规范更深的模型。在 pre-norm 残差单元中使用具有相对位置嵌入的多头自注意力。
3.2 卷积模块
卷积模块包含一个扩展因子为 2 的pointwise卷积，通过 GLU 激活层投影通道数，然后是一维depthwise 卷积后面是 Batchnorm，然后是 swish 激活层。Batchnorm 在卷积之后立即部署，以帮助训练深度模型
; 3.3 Feed forward 前馈模块
由两个线性变换和中间的非线性激活组成。 在前馈层上添加一个残差连接，然后是layernorm。
4 实验分析
简介：我只对模型感兴趣，只读模型部分
[En]
Brief: I am only interested in the model, only read the model part
5 疑问和思考
● 代码是Pytorch写的，不知道Keras能不能使用。https://github.com/lucidrains/conformer?utm_source=catalyzex.com
● 如何把该模型应用到信号处理领域，是我需要研究的问题。
Original: https://blog.csdn.net/weixin_43935696/article/details/120533326
Author: Better Bench
Title: 【文献学习】Conformer: Convolution-augmented Transformer for Speech Recognition
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/512647/
转载文章受原作者版权保护。转载请注明原作者出处！