本期为青源LIVE第39期线上直播活动，参与直播互动有惊喜 🎁 ！
近年来的自然语言处理模型大多数都基于来自Transformer模型提出的自注意力机制(self-attention)。很多研究都发现用大量的数据和大规模的模型可以达到非常好的效果。但是大模型仍然在很多任务上显著落后于人类，比如常识推理，因为模型缺乏必要的常识作为输入。
本期青源LIVE邀请了 徐一翀博士做题为《 自注意力与外注意力机制：在常识问答中超越人类水平》的报告。
主讲人： 徐一翀 微软认知科学研究组(Cognitive Services Research)高级研究员。本科毕业于清华大学姚班，在2020年于卡内基梅隆大学取得机器学习博士学位。研究方向包括交互式机器学习，自然语言处理，多模态机器学习等。工作发表在机器学习和自然语言处理的顶级会议和期刊(NeurIPS, ICML, JMLR, ACL, NAACL, EMNLP等)，相关成果被引用1000次以上，曾多次担任顶级会议和期刊审稿人。
主题： 自注意力与外注意力机制：在常识问答中超越人类水平
时间：2022年1月24日（周一）19：00~20：00
形式：线上
报告摘要：我们提出一种外注意力机制(external-attention)，用来把外部的知识（比如常识）引入到Transformer模型当中。我们发现外注意力机制可以用相对小的模型达到非常好的效果，这也使得开发AI模型更加容易。特别地，对于常识推理我们提出KEAR模型（Knowledgeable External Attention for commonsense Reasoning）。我们的模型在CommonsenseQA常识问答数据集上首次超越了人类水平(模型89.4%，人类水平88.9%)。我们的方法在文本摘要，翻译，多语言常识推理等任务上也可以显著提升模型的表现。
扫描下方二维码报名参加活动
参与互动获取奖品
方式一：直播互动
在腾讯会议LIVE直播间提问参与互动，我们会 从参与腾讯会议直播互动的用户中随机抽取幸运观众， 送出我们的精美AI书籍，名额有限。
方式二：留言互动
关注智源社区公众号，在公众号后台留言推荐下一期live嘉宾，推荐的嘉宾被选中后我们会为您 赠送智源社区纪念品。（嘉宾推荐模板：姓名+研究方向+当前工作重点）
Original: https://blog.csdn.net/BAAIBeijing/article/details/122613240
Author: 智源社区
Title: 直播|微软徐一翀：在常识问答中超越人类水平！自注意力与外注意力机制
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/79299/
转载文章受原作者版权保护。转载请注明原作者出处！
