1，BERT中Attention本质和功能再思考
2，fourier transform数学原理剖析
3，使用fourier transform取代self-attention layer
4，为什么采用fourier transform会fewer parameters及more memory efficient？
5，fourier transform有效性带来的”mix” input tokens操作的思考
6，FNet处理longer input lengths的设计及实现
7，PreTrainedTokenizer源码完整实现剖析
8，get_special_tokens_mask源码完整实现剖析
9，tokenize源码完整实现剖析
10，FNetTokenizer源码完整实现剖析
11，FNetEmbeddings源码完整实现剖析
12，fourier_transform方法源码完整实现剖析
13，FNetBasicFourierTransform源码完整实现剖析
14，FNetFourierTransform源码完整实现剖析
15，FNetBasicOutput源码完整实现剖析
16，FNetOutput源码完整实现剖析
17，FNetIntermediate源码完整实现剖析
18，FNetLayer源码完整实现剖析
19，FNetEncoder源码完整实现剖析
20，FNetPooler源码完整实现剖析
21，FNetPredictionHeadTransform源码完整实现剖析
22，FNetLMPredictionHead源码完整实现剖析
23，FNetOnlyMLMHead源码完整实现剖析
24，FNetOnlyNSPHead源码完整实现剖析
25，FNetPreTrainingHeads源码完整实现剖析
26，FNetPreTrainedModel源码完整实现剖析
27，FNetForPreTrainingOutput源码完整实现剖析
28，FNetModel源码完整实现剖析
29，FNetForPreTraining源码完整实现剖析
30，FNetForMaskedLM源码完整实现剖析
31，FNetForNextSentencePrediction源码完整实现剖析
32，FNetForSequenceClassification源码完整实现剖析
33，FNetForMultipleChoice源码完整实现剖析
34，FNetForTokenClassification源码完整实现剖析
35，FNetForQuestionAnswering源码完整实现剖析
Original: https://blog.csdn.net/StarSpaceNLP667/article/details/121579134
Author: StarSpaceNLP667
Title: 第32章：基于Fourier Transform的Transformer模型FNet架构及完整源码实现
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532115/
转载文章受原作者版权保护。转载请注明原作者出处！