Attention注意力机制与self-attention自注意力机制
参考文章：
https://zhuanlan.zhihu.com/p/265108616
https://zhuanlan.zhihu.com/p/96492170
概述
Attention注意力
Attention注意力用我们比较好理解的说法就是：输入进来一行序列（一句话），我们总能从这句话中找到并聚焦到重要的信息上，而忽略大多不重要的信息。权重越大，就越聚焦关注其权重对应的value的值上，权重代表信息的重要程度，Value则是其对应的信息。
Attention机制的具体计算过程，可以将其归纳为两个过程：第一个过程是根据Q u e r y Query Q u e r y和K e y Key K e y计算权重系数，第二个过程根据权重系数对V a l u e Value V a l u e进行加权求和。而第一个过程又可以细分为两个阶段：第一个阶段根据Q u e r y Query Q u e r y和K e y Key K e y计算两者的相似性或者相关性—->第二个阶段对第一阶段的原始分值进行归一化处理。这样，可以将Attention的计算过程抽象为如图展示的三个阶段。
Original: https://blog.csdn.net/qq_46497842/article/details/121023270
Author: 勇敢牛牛@
Title: 深度学习模型CV-Transformer（一）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531063/
转载文章受原作者版权保护。转载请注明原作者出处！