UniLM论文全名为Unified Language Model Pre-training for Natural Language Understanding and Generation，译为自然语言理解与生成的统一预训练语言模型。
本文提出了采用BERT的模型，使用三种特殊的Mask的预训练目标，从而使得模型可以用于NLG，同时在NLU任务获得和BERT一样的效果。 模型使用了三种语言模型的任务：
- unidirectional prediction
- bidirectional prediction
- seuqnece-to-sequence prediction
; 一、概述
目前，预训练的语言模型（Language model ）已经大幅地提高了各种自然语言处理任务的水平。它一般使用大量文本数据，通过上下文来预测单词，从而学习到文本上下文的文本表示，并且可以进行微调以适应后续任务。不同类型的预训练语言模型一般采用不同的预测任务和训练目标，如表1所示。ELMo模型学习两个单向语言模型（unidirectional LM）：前向语言模型从左到右读取文本进行编码，后向语言模型从右到左读取文本进行编码。GPT模型使用Transformer编码解码器从左到右的一逐字地预测文本序列。BERT模型使用一个双向Transformer编码器通过被掩字上下文来预测该掩蔽字。
尽管BERT模型已经显著地提高了大量自然语言理解任务的效果，但是由于它的双向性使得它很难应用于自然语言生成任务。
Original: https://blog.csdn.net/u013250861/article/details/123648710
Author: u013250861
Title: NLP-预训练模型-2019-NLU+NLG：UniLM（自然语言理解与生成的统一预训练语言模型）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/545219/
转载文章受原作者版权保护。转载请注明原作者出处！