第 26 章：跨语言 Cross-linagual 预训练模型 XLM 架构内幕及完整源码实 现
1 ，cross-lingual pretraining 背后的数学原理剖析
2 ，XLM 中CLM 设计内幕和数学原理解析
3 ，XLM 中MLM 设计内幕和数学原理解析
4 ，XLM 中TLM 设计内幕和数学原理解析
5 ，XLMTokenizer 源码实现解析
6 ，XLMWithLMHeadModel 源码实现解析
7 ，XLMPredLayer 源码实现解析
8 ，XLMModel 源码实现解析
9 ，XLMPreTrainedModel 源码实现解析
10 ，TransformerFFN 源码实现解析
11 ，MultiHeadAttention 源码实现解析
12 ，XLMForSequenceClassification 源码实现解析
13 ，XLMForTokenClassification 源码实现解析
14 ，XLMForMultipleChoice 源码实现解析
15 ，XLMForQuestionAnsweringSimple 源码实现解析
16 ，XLMForQuestionAnswering 源码实现解析
第 27 章：处理长文本的模型 BigBird 架构内幕及完整源码实 现
1 ，Sparse attention 机制内幕及数学原理剖析
2 ，全局global attention 的数据原理及实现机制
3 ，Block sparse attention 数学原理及实现机制
4 ，Sliding attention 数学原理及实现机制
5 ，Random attention 数学原理及实现机制
6 ，Time & Memory Complexity 分析
7 ，BigBirdTokenizer 源码完整实现剖析
8 ，BigBirdEmbeddings 源码完整实现剖析
9 ，BigBirdAttention 源码完整实现剖析
10 ，BigBirdSelfAttention 源码完整实现剖析
11 ，BigBirdBlockSparseAttention 源码完整实现剖析
12 ，BigBirdIntermediate 源码完整实现剖析
13 ，BigBirdOutput 源码完整实现剖析
14 ，BigBirdLayer 源码完整实现剖析
15 ，BigBirdEncoder 源码完整实现剖析
16 ，BigBirdPredictionHeadTransform 源码完整实现剖析
17 ，BigBirdLMPredictionHead 源码完整实现剖析
18 ，BigBirdOnlyMLMHead 源码完整实现剖析
19 ，BigBirdOnlyNSPHead 源码完整实现剖析
20 ，BigBirdPreTrainingHeads 源码完整实现剖析
21 ，BigBirdPreTrainedModel 源码完整实现剖析
22 ，BigBirdForPreTrainingOutput 源码完整实现剖析
23 ，BigBirdModel 源码完整实现剖析
24 ，BigBirdForPreTraining 源码完整实现剖析
25 ，BigBirdForMaskedLM 源码完整实现剖析
26 ，BigBirdForCausalLM 源码完整实现剖析
27 ，BigBirdClassificationHead 源码完整实现剖析
25 ，BigBirdForQuestionAnsweringModelOutput 源码完整实现剖析
26 ，BigBirdForSequenceClassification 源码完整实现剖析
27 ，BigBirdForMultipleChoice 源码完整实现剖析
28 ，BigBirdForTokenClassification 源码完整实现剖析
29 ，BigBirdForQuestionAnsweringHead 源码完整实现剖析
30 ，BigBirdForQuestionAnswering 源码完整实现剖析
Original: https://blog.csdn.net/chu227/article/details/121340602
Author: chu227
Title: 基于Transformer的NLP智能对话机器人26-27章
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/544840/
转载文章受原作者版权保护。转载请注明原作者出处！