Conceptualized Representation Learning for Chinese Biomedical Text Mining
作者：Ningyu Zhang, Qianghuai Jia, Kangping Yin, Liang Dong, Feng Gao, Nengwei Hua
作者单位：Alibaba Group
项目地址：https://github.com/alibaba-research/ChineseBLUE
预训练模型：mc_bert_base.tar.gz
- 背景
总结：生物医学领域的中文预训练以及评测基准数据集。
拟解决的问题：如何检索生物医学领域知识；如何在模型预训练中利用生物医学领域的知识。
2. 方法
（1）Whole Entity Masking
解决的问题：遮盖类似于”腹痛“的医疗实体，将这种医疗知识显式地注入模型中。
步骤：
1）使用实体命名识别预测医疗实体；
2）使用中文医疗知识图谱后处理实体。
（2）Whole Span Masking
解决的问题：医疗实体还不足够，医疗文本中存在类似”
Original: https://blog.csdn.net/weixin_42127020/article/details/112126571
Author: 男爵兔
Title: bert中文预训练模型_[中文医疗预训练模型] MC-BERT
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/557498/
转载文章受原作者版权保护。转载请注明原作者出处！