因为我个人不喜欢听一个老师重复讲而喜欢听多位老师讲同一个东西所以整理了一下这份清单，我觉得比我自己的学习顺序要好一些！
因为我个人不喜欢听一个老师重复讲而喜欢听多位老师讲同一个东西所以整理了一下这份清单，我觉得比我自己的学习顺序要好一些！
attention本质还是权重（？
- （可选）前置知识：词嵌入、表征（文章）：完全没接触NLP的我觉得它讲的真的挺清楚
- （可选）了解transformer的基本结构（视频）：看这个封面真的没想到讲的这么好，刻板印象害人。用很符合直觉的方式讲了一遍【为什么要】以及【核心架构】
- （建议）李沐老师论文逐段讲解（视频）：李沐老师对论文的讲解绝对是非常非常细致清楚的，补充了很多知识，讲的非常非常好；李宏毅老师的据说讲的更直白，但是两个半小时我实在懒得（？
- （建议）手推 attention（视频）：对手推公式的人我一向只有敬意，而且这位讲的真的很清楚，相当于顺了一遍，在看代码之前就能知道每一部分的具体表现应该是什么
- （可选但比较建议）再看transformer（文章）：讲解内容倒是和2的视频差不太多，补充了很多图例；主要是评论区很多问题是共通的，挺精彩
- 代码实现1：把重点结构逐个拆开来写了
- 代码实现2：但是上面那个需要自己组装（？）这个复制粘贴就好，感觉很爽
Original: https://www.cnblogs.com/youtmdyang/p/16172480.html
Author: 有氧
Title: Transformer学习资源&顺序推荐
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/806973/
转载文章受原作者版权保护。转载请注明原作者出处！