1.encoder-decoder机制
中间会产生一个语义编码向量c，而这个c是固定长度的，且不变的。引入attention就是为了根据输出y来调整c。
2.attention的计算
encoder中存在隐藏状态h，c就是关于h的加权和
3.self attention
探索序列内部的关系
attention中的softmax
attention score 被称为相似度（匹配度、影响得分）
输入中的隐藏状态h1，h2，…对输出的影响不同，各自占有的权重应该是不一样的。
将得分映射到概率上就可以表示权重了。
进一步理解
1.首先隐藏状态的可以通过一些模型得到，比如由RNN encoder 输入（x1,x2,…）得到，同样输出y也是如此，它的隐藏状态可以设为s（有的资料为H),encoder的最后一个隐藏状态就是decoder的第一个隐藏状态。
st=f(st-1,yt-1,ct)
ct指的是context vector
权重是由st-1和h之间的相关性softmax得到的
求p(yi|y1,y2,…yi-1,si,ci)进行预测
Original: https://blog.csdn.net/iridescentc/article/details/123000093
Author: iridescentc
Title: 关于attention机制的理解
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532113/
转载文章受原作者版权保护。转载请注明原作者出处！