安装
✳安装前没注意，安装了paddlepaddle最新版2.0.1，结果引发了一些错误，好在不是严重的问题，修改后依旧可以使用
- 安装百度深度学习框架paddlepaddle飞桨（版本2.0.1
python -m pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
- 安装DDParser（版本0.1.2
pip install ddparser
- 报错 [链接]
RuntimeError: paddle-ernie requires paddle 1.7+, got 2.0.1
- 打开C:\Anaconda3\lib\site-packages\ddparser\ernie__init__.py，修改如下
'''原来'''
paddle_version = [int(i) for i in paddle.__version__.split('.')]
if paddle_version[1] < 7:
'''修改后'''
paddle_version = [i for i in paddle.__version__.split('.')]
if 10 * int(paddle_version[0]) +int(paddle_version[1]) < 17:
-
初次运行会下载模型，放置在C:\Anaconda3\Lib\site-packages\ddparser\model_files
-
运行 ddp.parse(“百度是一家高科技公司”) 报错
AttributeError: module ‘paddle.fluid.layers’ has no attribute ‘index_select’
- 报错原因：从1.x版本升级为2.0版本，API有变动 [飞桨框架API映射表]
打开C:\Anaconda3\lib\site-packages\ddparser\parser\nets\bilstm.py，修改成变动后的API（注：dim参数名改为axis
- 同样的问题还包括
C:\Anaconda3\lib\site-packages\ddparser\parser\nets\nn.py
AttributeError: module ‘paddle.fluid.layers’ has no attribute ‘arange’
说明
分词器：百度词法分析工具 LAC（实现中文分词、词性标注、专名识别等功能），支持使用其他工具的分词结果进行依存分析
附录1 pos：词性和专名类别标签集合
附录2 dep：依存句法分析标注关系集合（DuCTB1.0是百度构建的中文依存句法树库
操作
from ddparser import DDParser
ddp = DDParser()
results = ddp.parse("清华大学研究核能的教授有哪些")
>>> [{'word': ['清华大学', '研究', '核能', '的', '教授', '有', '哪些'], 'head': [5, 5, 2, 2, 6, 0, 6], 'deprel': ['ATT', 'ATT', 'VOB', 'MT', 'SBV', 'HED', 'VOB']}]
为了将结果可视化，这里用DataFrame输出，数据格式按照 CoNLL-X format（注：CoNLL-U是CoNLL-X的扩展版
CoNLL-U 格式
① CoNLL 格式是一种偏向于”机读”的形式。在CONLL格式中，每个词语占一行，无值列用下划线’_’代替，列的分隔符为制表符’\t’，行的分隔符为换行符’\n’；句子与句子之间用空行分隔。
② GitHub Issue：ddp.parse的结果可以直接输出CoNLL-X格式吗
③ 另外可以试一下paddlehub ，里面对ddparser做了封装，提供可视化表示。
col = ('FROM','LEMMA','CPOSTAG','POSTAG','FEATS','HEAD','DEPREL','PROB','PDEPREL')
row = []
for res in results:
for i in range(len(res['word'])):
data = {"FROM":res['word'][i], "LEMMA":res['word'][i], "HEAD":res['head'][i], "DEPREL":res['deprel'][i]}
row.append(data)
df = pd.DataFrame(row,columns=col)
df.fillna('_',inplace = True) # 缺省值
df.index = df.index + 1 # 把索引号加1视为ID
print(df)
Windows可以用DependencyViewer加载CoNLL格式的txt文件，其他可以用web端的conllu.js
📍 UD提供的可视化工具：Visualisation
📍 HanLP进一步封装：Dependency Tree Visualization
扩展
在DDParser()中指定参数prob和use_pos，使用prob可以指定输出概率，使用use_pos可以输出词性标签
from ddparser import DDParser
ddp = DDParser(prob=True, use_pos=True)
ddp.parse(["百度是一家高科技公司"])
>>> [{'word': ['百度', '是', '一家', '高科技', '公司'], 'postag': ['ORG', 'v', 'm', 'n', 'n'], 'head': [2, 0, 5, 5, 2], 'deprel': ['SBV', 'HED', 'ATT', 'ATT', 'VOB'], 'prob': [1.0, 1.0, 1.0, 1.0, 1.0]}]
在class DDParser中指定参数buckets=True可以在数据集长度不均时处理速度更快
from ddparser import DDParser
ddp = DDParser(buckets=True)
在已分词情况下（比如希望使用其他工具的分词结果），通过调用parse_seg()方法，可以进行依存句法树分析
ddp = DDParser()
ddp.parse_seg([['百', '度', '是', '一家', '高科技', '公司'], ['他', '送', ' 了', '一本', '书']])
>>> [{'word': ['百', '度', '是', '一家', '高科技', '公司'], 'head': [2, 3, 0, 6, 6, 3], 'deprel': ['ATT', 'SBV', 'HED', 'ATT', 'ATT', 'VOB']}, {'word': ['他', '送', '了', '一本', '书'], 'head': [2, 0, 2, 5, 2], 'deprel': ['SBV', 'HED', 'MT', 'ATT', 'VOB']}]
更多请查看 GitHub BaiDu DDParser
工具学习系列
词性标注集pos/tag 依存句法分析标注集dep 语义依存分析标注集sdp LTP 863词性标注集 BH-DEP BH-SDP SpaCy
基于
Google Universal POS Tag set
扩展采用了
ClearNLP
的依存分析标签-
DDParser 百度构建的标注集 DuCTB HanLP CTB PKU 863 UD SD UD SemEval16
、DM、PAS、PSD
stanford corenlp
Penn Chinese Treebank Tag Set（
CTB
）没找到说明采用的标注集 [
链接
]-
jieba ictclas
兼容的标记法不支持不支持
参考
2020.11-依存句法树baidu-DDParser工具使用
其他
1）pandas似乎要在ddparser前导入，否则会报错
import pandas as pd
from ddparser import DDParser
BUG0：AttributeError: type object ‘Callable’ has no attribute ‘_abc_registry’ [解决方案]
BUG1：‘WindowsPath’ object has no attribute ‘read_text’ [解决方案]
2）百度LAC分词
from LAC import LAC
lac = LAC(mode='seg') # mode选项：lac(默认)与seg，lac包含词性
seg_result = lac.run(text)
Original: https://blog.csdn.net/sinat_36226553/article/details/115370888
Author: Dawn_www
Title: 百度DDParser的依存分析
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/548423/
转载文章受原作者版权保护。转载请注明原作者出处！