AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。
TransOMCS: From Linguistic Graphs to Commonsense Knowledge
常识知识获取是人工智能的关键问题。获取常识知识的常规方法通常需要费力且昂贵的人工注释，这在大规模上是不可行的。
在本文中，作者探索了一种从语言图中提取常识知识的实用方法，目的是将用通过语言模式获得的廉价知识转化为昂贵的常识知识。 结果是将大规模选择偏好知识资源ASER [Zhang等，2020]转换为与ConceptNet [Liu和Singh，2004]相同表示的TransOMCS [Liu和Singh，2004]。
实验结果证明了语言知识到常识知识的转移性以及所提出方法在数量，新颖性和质量方面的有效性。
论文链接：https://www.aminer.cn/pub/5eafe7e091e01198d39865dc?conf=ijcai2020
MPNet: Masked and Permuted Pre-training for Language Understanding
BERT采用掩码语言建模（masked language modeling , MLM）进行预训练，是最成功的预训练模型之一。由于BERT忽略了预测标记之间的依赖性，XLNet引入了排列语言建模（permuted language modeling, PLM）进行预训练，以解决这一问题。作者认为XLNet并没有利用句子的全部位置信息，因此在预训练和微调之间存在位置差异。
在本文中，作者提出了MPNet，这是一种新型的预训练方法，它继承了BERT和XLNet的优点，避免了它们的局限性。MPNet通过排列语言建模（与BERT中的MLM相比），利用预测标记之间的依赖性，并将辅助位置信息作为输入，使模型看到一个完整的句子，从而减少位置差异（与XLNet中的PLM相比）。
作者在大规模的数据集上对MPNet进行预训练（超过160GB的文本语体），并在各种下行任务（GLUE、SQuAD等）上进行微调。实验结果表明，在相同的模型设置下，MPNet在很大程度上优于MLM和PLM，并且与之前最先进的预训练方法（如BERT、XLNet、RoBERTa）相比，MPNet在这些任务上取得了更好的效果。
论文链接：https://www.aminer.cn/pub/5ecc763e9e795e81e9307559?conf=neurips2020
Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning
为了对预训练的语言模型配备结构化知识，作者提出了两个在知识图谱的指导下对原始文本进行学习的自我监督任务。在实体级屏蔽语言模型的基础上，作者第一个贡献是利用文本底层的关系知识的实体屏蔽方案。这是通过使用一个链接的知识图来选择信息实体，然后掩盖它们的提及来实现的。此外，作者使用知识图来获取被掩蔽实体的干扰器，并提出了一个新的受干扰器抑制排名目标，该目标与掩蔽的语言模型共同优化。
与现有的范式相比，作者的方法仅在预训练期间隐式使用知识图，通过从原始文本中学习，为语言模型注入结构化知识。它比基于检索的方法在微调和推理过程中进行实体链接和整合的方法更高效，比直接从连接图三元组学习的方法更有效地泛化。实验表明，文中提出的模型在五个基准数据集上实现了性能的提升，包括问题回答和知识库完成任务。
论文链接：https://www.aminer.cn/pub/5eaaa1d691e011fa9e15ea8e?conf=emnlp2020
想要查看更多精彩会议论文合集，请移步AMiner顶会
Original: https://blog.csdn.net/AI_Conf/article/details/109165755
Author: AMiner学术搜索和科技情报挖掘
Title: AMiner 会议论文推荐第五期
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/595528/
转载文章受原作者版权保护。转载请注明原作者出处！