1001 Attention 和 Self-Attention 的区别(还不能区分我就真的无能为力了)

通过 pytorch 去构建一个 transformer 的框架

不是导包,不是调包侠

注意力机制是一个很宽泛(宏大)的一个概念,QKV 相乘就是注意力,但是他没有规定 QKV是怎么来的

通过一个查询变量 Q,去找到 V 里面比较重要的东西

假设 K==V,然后 QK 相乘求相似度A,然后 AV 相乘得到注意力值Z,这个 Z 就是 V 的另外一种形式的表示

Q 可以是任何一个东西,V 也是任何一个东西, K往往是等同于 V 的(同源),K和 V 不同源不相等可不可以

他没有规定 QKV 怎么来,他只规定 QKV 怎么做

自注意力机制,特别狭隘,属于注意力机制的,注意力机制包括自注意力机制的

本质上 QKV 可以看做是相等的

对于一个词向量(不一定准确),做的是空间上的对应,乘上了参数矩阵,依然代表 X

不仅规定了 QKV 同源,而且固定了 QKV 的做法

Q 和 V 不同源,但是 K 和 V 同源

Q 和 V 同源,Q 和 K 不同源

Q 必须为 1,K 和 V 不同源

Original: https://www.cnblogs.com/nickchen121/p/16514033.html
Author: 二十三岁的有德
Title: 1001 Attention 和 Self-Attention 的区别(还不能区分我就真的无能为力了)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/552816/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Windows下 webpack4.0 的安装

    这里我们通过npm来进行安装 1. 安装 webpack // 全局安装webpack npm install webpack -g 2. 通过 webpack -v 命令查看当前…

    技术杂谈 2023年5月31日
    0145
  • jquery 跨域调用wcf 返回json 碰到的一些问题

    走到这里的时候,发现网络上能学习的资源或是比较适合自己项目的文章越来越少了,也在这里停留了比较长的时间 在做跨域的过程中,感觉http://localhost:9090/域与htt…

    技术杂谈 2023年7月11日
    0125
  • 23种设计模式之命令模式

    文章目录 概述 命令模式的优缺点 命令模式的应用场景 命令模式的结构和实现 * 模式的结构 模式的实现 总结 ; 概述 命令模式(Command Pattern)是一种数据驱动的设…

    技术杂谈 2023年7月24日
    095
  • python练习题:接收一个或多个数并计算乘积

    以下函数允许计算两个数的乘积,请稍加改造,变成可接收一个或多个数并计算乘积 def product(x, y): return x * y python;gutter:true; …

    技术杂谈 2023年7月24日
    094
  • GCC编译器技术解析

    GCC编译器技术解析 参考文献链接 https://mp.weixin.qq.com/s/-MhkY2FLZ3Tn4eWZZrZ2Ww https://mp.weixin.qq.c…

    技术杂谈 2023年5月31日
    0115
  • UOJTestRound#2社论

    模拟赛 C, D 出的 UTR 题,,, 开始复读官方题解 /oh/oh/oh 魔怔码风见谅 QwQ A. 题目排列顺序 给一个序列 ({f_n}),重排标准排列 (\pi),使得…

    技术杂谈 2023年7月24日
    088
  • 再也不用担心重装VSCode了

    1. 关于Settings Sync插件 Setings Sync插件可以同步你的VSCode配置到 Github Gist,当你更换电脑重新搭建VSCode环境的时候,直接使用该…

    技术杂谈 2023年7月23日
    096
  • graylog server 模块说明一 入口简单说明

    protected void startCommand() { final AuditEventSender auditEventSender = injector.getInst…

    技术杂谈 2023年5月30日
    099
  • python 调用c语言函数

    虽然python是万能的,但是对于某些特殊功能,需要c语言才能完成。这样,就需要用python来调用c的代码了具体流程:c编写相关函数 ,编译成库然后在python中加载这些库,指…

    技术杂谈 2023年6月21日
    0126
  • 立体角

    【 立体角】 1、球坐标中,每一个方向可以用两个角来表示,方位角、仰角。这两个角定义了球中惟一的方向, Θ(φ,θ)。 φ和 θ 在一个指定的区间内。 2、立体角是以圆锥体的顶点为…

    技术杂谈 2023年5月31日
    0119
  • Mac流量监控/硬盘监控小工具

    效果: 中文版: https://member.ipmu.jp/yuji.tachikawa/MenuMetersElCapitan/ 官方版: https://github.co…

    技术杂谈 2023年5月30日
    0139
  • 装机员教你Win10正式版怎么关闭自动更新

    Win10正式版怎么关闭自动更新?并不是系统所有的补丁更新都可以更新到,最近有个补丁怎么也更新不到,每次开关机都更新失败很是讨厌,那么下面来看看我是怎么关闭Win10系统的自动更新…

    技术杂谈 2023年5月31日
    0127
  • 基于主机的卡模拟概览

    许多提供 NFC 功能的 Android 设备已支持 NFC 卡模拟。在大多数情况下,卡由设备中的一个单独的芯片(称为安全元件)进行模拟。无线运营商提供的很多 SIM 卡也包含安全…

    技术杂谈 2023年5月31日
    088
  • 初识Python系列(三)

    对于Python selenium操作的总结(三) —— 利用本地储存cookies自动化登录任意网站(在此以b站为示例) 一、思路 自动化登录网站的方式有三种: 与人机识别硬刚,…

    技术杂谈 2023年7月23日
    081
  • 前端架构三大巨头之一Angular|深度讲解

    云智慧集团成立于2009年,是全栈智能业务运维解决方案服务商。经过多年自主研发,公司形成了从IT运维、电力运维到IoT运维的产业布局,覆盖ITOM、ITOA、ITSM、DevOps…

    技术杂谈 2023年7月23日
    0104
  • 个人学习-STL:Set前置-tree

    参考资料: [1]程杰.大话数据结构[M]. [2][美]Robert Sedgewic,Jevin Wayne. 算法Algorithms[M].谢路云译 1.基本脉络: 树实际…

    技术杂谈 2023年6月21日
    0156
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球