【NLP】基于BiLSTM-CRF的序列标注

背景

命名实体识别(named entity recognition, NER)现在如今使用最多的算法当属深度学习。当Bert还没出现时,序列标注的天下则是BiLSTM-CRF的天下。使用BiLSTM-CRF比较早的论文是来自于百度的:Bidirectional LSTM-CRF Models for Sequence Tagging.除此之外还有:Neural Architectures for Named Entity Recognition等论文 。
前文的基于HMM进行序列标注只是引入序列标注的基本概念,以及传统的处理方式。现在我们来看看如何使用BiLSTM-CRF来进行序列标注。

其中BiLSTM在之前的文章:【NLP】seq2seq 由浅入深——基于Rnn和Cnn的处理方式比较详细地介绍了LSTM相关内容。而BiLSTM是两个LSTM模型的组合,一个从前往后输入,一个从后往前输入,然后将对应输出的结果进行拼接。

至于条件随机场(Conditional Random Field, CRF)来说,个人觉得在这里使用的主要还是基于维特比的解码。与传统的CRF还不一致。针对这个问题,也是众说纷纭。这里不做详细讨论。如果对CRF比较感兴趣的可以查看李航老师的《统计机器学习》一书。

如何使用RNN进行序列标注

使用一个简单的RNN模型进行序列标注的网络结构如下图:

Original: https://blog.csdn.net/meiqi0538/article/details/124070334
Author: 科皮子菊
Title: 【NLP】基于BiLSTM-CRF的序列标注

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/530478/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球