“如果说 Transformer 是人工智能时代的芯片，那么StarSpace 就是AI 时代的操作系统。”
第 19 章： NLP 阅读理解 MRC(Machine Reading Comprehension) 数学原理、技术本质及常见算 法
1，以一篇119个Words的GRE(Graduate Record Examinations)文章及2个相应的阅读理解题目为例来剖析阅读理解的过程及其背后的机制
2，MRC在智能客服、机器问答、搜索引擎等等广泛应用背后的原因：规模化价值复制
3，信息的本质及信息理解的本质数学机制剖析
4，MRC三元素：Question-Context-Answer数学模型及技术本质剖析
5，MRC的核心：Attention Computations
6，MRC对信息理解三大层次解析及背后对应的数学模型
7，MRC实现方法之传统特征工程解析
8，MRC实现方法之深层语意图匹配解析
9，MRC实现方式之神经网络及Attention机制解析
10，MRC数据之Single-Document和Multiple-Document解析
11，MRC的四大核心任务之Cloze Tests数据集、数学原理和技术本质剖析
12，MRC的四大核心任务之Multiple Choice数据集、数学原理和技术本质剖析
13，MRC的四大核心任务之Span Extraction数据集、数学原理和技术本质剖析
14，MRC的四大核心任务之Free Anwering数据集、数学原理和技术本质剖析
15，Cloze Tests数据集分析：CNN&Daily Mail、CBT等
16，Multiple Choice数据集分析：MC Test、RACE等
17，Span Extraction数据集分析：SQuAD、NewsQA等
18，Free Answering数据集分析：MS MARCO、DuReader等
19，MRC的测试集解析：In-domain、Over-sensitivity、Over-stability、Generalization等
20，MRC的可回答问题及无答案问题数学原理剖析及BERT实现
21，MRC的Feature extraction数学原理及算法分析
22，传统Machine Learning Algorithms对MRC 算法解析
23，BiDAF (Bi-Directional Attention Flow)下的MRC算法解析
24，QANet下的MRC算法解析
25，Transformer架构下的BERT及ALBERT下的MRC 解析
26，Transformer架构下的XLNET下的MRC 解析
第 20 章： MRC 通用架构双线模型内核机制、数学原理、及组件内 幕
1，双线模型架构解析：Multiple Encoders、Interaction
2，双线模型中为何Interaction环节是实现信息理解的关键？
3，双线模型底层数学原理剖析
4，Embeddings下的One-hot Representation及多层One-hot机制解析
5，Embeddings下的Word2vec的CBOW模型解析及源码实现
6，Embeddings下的Word2vec的Skipgram模型解析及源码实现
7，MRC下GloVe: Global Vectors for Word Representation架构解析及源码实现
8，MRC 下解决一次多义Elmo架构解析及源码实现
9，使用BERT进行Embeddings架构及最佳实践解析
10，Feature Extraction下的CNN模型解析及源码实现
11，Feature Extraction下的RNN模型解析及源码实现
12，Feature Extraction下的Transformer Encoder或者Decoder的架构解析及源码实现
13，MRC灵魂：Context-Question Interaction及Question-Context Interaction
14，Answer Prediction之Word Predictor数学原理及源码实现剖析
15，Answer Prediction之Option Predictor数学原理及源码实现剖析
16，Answer Prediction之Span Extractor数学原理及源码实现剖析
17，Answer Prediction之Answer Generator数学原理及源码实现剖析
18，MRC中的Negative Sampling数学机制及具体实现
19，BERT对MRC中无答案问题处理剖析及实现
20，MRC on Knowledge Graph解析
21，对MRC进行Evaluation Metrics之Accuracy、Precision、Recall、F1解析
22，对MRC进行Evaluation Metrices之Rouge-L解析
23，对MRC进行Evaluation Metrics之BLEU解析
24，提升MRC能力的7大方法详解
第 21 章：基于 Bayesian Theory 的 MRC 文本理解基础经典模型算法详 解
1，Bayesian prior在模型训练时候对Weight控制、训练速度影响等功能详解
2，Bayesian prior能够提供模型训练速度和质量的数学原理剖析
3，从Word2vec走向GloVe：从Local 信息走向Global+Local信息表示模式
4，GloVe 中的Vector相关性算法
5，GloVe的Co-occurrence matrix解析
6，GloVe的Loss计算
7，神经网络表达信息的三大局限剖析
7，使用Convolutions取代神经网络传统的matrix multiplication操作
8，文本序列的Vector表示及Convolutions的天然契合点分析
9，Parameter sharing背后的数学原理和工程的广泛应用
10，Vector中的参数真的能够很好的表达信息吗？数学原理及工程实践
11，TextCNN架构设计解析
12，CNN-rand数学原理及工程实现
13，CNN-static数学原理及工程实现
14，CNN-non-static数学原理及工程实现
15，CNN-multiple channel数学原理及工程实现
16，处理长短不一的Sentence
17，Kernel设置的数学原理及最佳实践
18，传统模型Attention实现本质：权重分配
19，通过Soft-Search的方式来构建Attention机制及数学原理剖析
20，KQV：Attention-based model based on weight allocation
21，Local-Attention、Global-Attention、Self-Attention对比及最佳实践
22，基于一维匹配的Attentive Reader架构及数学原理剖析
23，基于二维匹配的Impatient Reader架构及数学原理剖析
24，Multi-Hop机制多次提取更充足信息的Attention实现剖析
25，Multi-Hop机制多次提取更充足信息的TimeStep状态推进剖析
26，Pointer network和Attention机制的对比
27，R-NET：借助pointer network和使用gateway机制的attention实现
28，R-NET的Encoding Layer解析
29，R-NET的Question-Passage Matching解析
30，R-NET的Passage Self-Matching解析
31，R-NET的Answer Prediction解析
32，Fully-Aware Fusion Network提出的MRC的Fusion层次划分解析
33，Fully-Aware Fusion Network中的History-of-word机制来更好的理解语意
34，Fully-Aware Fusion Network的Attention机制解析
35，Fully-Aware Fusion Network的Encoding Layer：GloVe、CoVe、POS、NER等
36，Fully-Aware Fusion Network的Multi-level Fusion解析
37，Fully-Aware Fusion Network的Fully-Aware Self-Boosted Fusion解析
38，Fully-Aware Fusion Network的Output layer解析
39，QA-Net的架构之Embedding Encoder Layer解析
40，QA-Net的架构之Context-Query Attention Layer解析
41，QA-Net的架构之Model Encoder Layer解析
42，QA-Net的架构之Output Layer解析
Transformer,注意力机制,Attention机制,Transfomer课程,Transformer架构,Transformer模型,对话机器人,NLP课程,NLP,自然语言处理,知识图谱,命名实体识别
Original: https://blog.csdn.net/oatmeal2022/article/details/121305717
Author: 森大蔬
Title: 基于Transformer的NLP智能对话机器人实战课程（第十九章、第二十章、第二十一章）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/548550/
转载文章受原作者版权保护。转载请注明原作者出处！