1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 人工智能

[论文阅读笔记66]R-BERT

• 人工智能 • 阅读 76

1. 基本信息

题目论文作者与单位来源年份Enriching Pre-trained Language Model with Entity Information for Relation ClassificationShanchan Wu Yifan He Alibaba Group (U.S.) IncCIKM2019

R-BERT
128 Citations, 32 References

论文链接：https://arxiv.org/pdf/1905.08284.pdf

论文代码：https://github.com/monologg/R-BERT [非官方]

2. 要点

研究主题问题背景核心方法流程亮点数据集结论论文类型关键字关系抽取基于bert出关系抽取；序列重组合，然后分断，最后再组合。模型把实体级信息加入到预训练中来完成任务。

在第一个实体周围加入’$’，在第二个实体周围加入’#’，用这两个符号标识实体位置；

使用了'[CLS]’中的句子信息；SemEval-2010 Task 8方法简单具有效，在工程的使用是不错的。

取得SemEval-2010 task 8上的state-of-the-art.bert, Relation classifification

3. 模型(核心内容)

3.1 模型

[论文阅读笔记66]R-BERT

  1. 对于序列s, 在句子前面加入'[CLS]’, 在第一个实体加入’$’, 在第二个实体加入’#’.

  2. 对于两实体进行平均计算（H1，H2）：

[论文阅读笔记66]R-BERT
  1. 对于'[CLS]’，加入了一个激活与全连接操作：

[论文阅读笔记66]R-BERT

W0,W1,W2有相同的维度(d*d,d为Bert隐含层状态大小).

  1. 把三类信息concat起来，再输入一个全连接网络：

[论文阅读笔记66]R-BERT

W3的大小为L*3d. 其中L表示关系类型数。p为概率输出。

  1. 采用交叉熵作为损失函数，在每个全连接层前加入dropout.

; 4. 实验与分析

4.1 数据集

  1. SemEval-2010 Task 8;
  2. 包括10类： Cause-Effect, *Component-Whole, Content-Container, Entity Destination, Entity-Origin, Instrument-Agency, Member-Collection, Message-Topic ，Product Producer， Other
  3. 10,717 sentences；
  4. 关系有方向性的；

4.2 训练参数

[论文阅读笔记66]R-BERT

; 4.2 结果

对比实验：

[论文阅读笔记66]R-BERT

消融分析：

BERT-NO-SEP-NO-ENT： 不加特殊分隔符（”$”,”#”），也不加入'[CLS]’信息； F1==- 8.16==；

BERT-NO-SEP: 不加特殊分隔符（”$”,”#”）;

BERT-NO-ENT: 不加入'[CLS]’信息;

[论文阅读笔记66]R-BERT

5. 代码

无

6. 总结

6.1 优

​ 简单有效的方法。

6.4 不足

​ 其它种类的消融是否可以考虑一下。

7. 知识整理（知识点，要读的文献，摘取原文）

​ 无

8. 参考文献

【1】bert关系抽取之R-BERT：Enriching Pre-trained Language Model with Entity Information，https://blog.csdn.net/xiaowopiaoling/article/details/105679350

made by happyprince

Original: https://blog.csdn.net/ld326/article/details/123631480
Author: happyprince
Title: [论文阅读笔记66]R-BERT

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/530534/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球