常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

关注、点赞、收藏是对我最大的支持,谢谢^v^

经典模型结构总结,大道至简,探寻最本质之处。

目录

1. 前馈神经网络(FNN, Feedforword Neural Network)

2. 卷积神经网络(CNN, Convolutional Neural Network)

3. 循环神经网络(RNN, Recurrent Neural Network)

4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)

5. 延时神经网络(TDNN, Time-Delay Neural Network)

6. FSMN

7. 注意力机制

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

2. 卷积神经网络(CNN, Convolutional Neural Network)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

3. 循环神经网络(RNN, Recurrent Neural Network)

Simple RNN

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)

LSTM 网络引入门控机制( Gating Mechanism) 来控制信息传递的路径

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

5. 延时神经网络(TDNN, Time-Delay Neural Network)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

第一层权重数:16维特征输入3帧视野3个隐层节点=166

第二层权重数:3维隐层节点10帧视野4个输出节点=120

可以看作是卷积核比较大的卷积操作,第一层,卷积核163;第二层卷积核310

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

6. FSMN

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

在FNN基础上,加了一个记忆模块,数学表达式如下。

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

7. 注意力机制

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

参考资料

[1] GitHub – nndl/nndl.github.io: 《神经网络与深度学习》 邱锡鹏著 Neural Network and Deep Learning

关注、点赞、收藏是对我最大的支持,谢谢^v^

Original: https://blog.csdn.net/chinabing/article/details/127818457
Author: chinabing
Title: 常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/660306/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球