关注、点赞、收藏是对我最大的支持,谢谢^v^
经典模型结构总结,大道至简,探寻最本质之处。
目录
1. 前馈神经网络(FNN, Feedforword Neural Network)
2. 卷积神经网络(CNN, Convolutional Neural Network)
3. 循环神经网络(RNN, Recurrent Neural Network)
4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)
5. 延时神经网络(TDNN, Time-Delay Neural Network)
2. 卷积神经网络(CNN, Convolutional Neural Network)
3. 循环神经网络(RNN, Recurrent Neural Network)
Simple RNN
4. 长短时记忆网络(LSTM, Long Short-Term Memory Network)
LSTM 网络引入门控机制( Gating Mechanism) 来控制信息传递的路径
5. 延时神经网络(TDNN, Time-Delay Neural Network)
第一层权重数:16维特征输入3帧视野3个隐层节点=166
第二层权重数:3维隐层节点10帧视野4个输出节点=120
可以看作是卷积核比较大的卷积操作,第一层,卷积核163;第二层卷积核310
6. FSMN
在FNN基础上,加了一个记忆模块,数学表达式如下。
7. 注意力机制
参考资料
[1] GitHub – nndl/nndl.github.io: 《神经网络与深度学习》 邱锡鹏著 Neural Network and Deep Learning
关注、点赞、收藏是对我最大的支持,谢谢^v^
Original: https://blog.csdn.net/chinabing/article/details/127818457
Author: chinabing
Title: 常用模型结构(FNN、CNN、RNN、TDNN、FSMN、Attention)
原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/660306/
转载文章受原作者版权保护。转载请注明原作者出处!