知识图谱学习笔记 4

今天学习使用ChatterBot来做一个问答系统。
关于ChatterBot的安装问题可以看这篇博文。

程序结构如图：

medical.json是网上爬取的一个医药相关的包，然后需要通过运行build_medicalgraph在neo4j服务器上建立一个医药图谱。
首先打开neo4j服务，运用以下指令清空之前的图：

MATCH(n)
DETACH DELETE n

运行build_medicalgraph，这个时候程序报错：

打开neo4j.conf，搜素dbms.security.auth_enabled=false，将前面的井号键#去掉，重新打开neo4j服务，运行build_medicalgraph就可以了。

下面对build_medicalgraph做一个简单的说明。

定义一个MedicalGraph类，创建它的对象，然后用create_graphnodes()函数创建节点，用create_graphrels()函数创建关系。

if __name__ == '__main__':
    handler = MedicalGraph()
    handler.create_graphnodes()
    handler.create_graphrels()
    # handler.export_data()

接下来看MedicalGraph类内部：
在构造函数中，定义了需要读取的json文件地址，以及一个本机的neo4j的数据5-8行为默认数据：

    def __init__(self):
        cur_dir = '/'.join(os.path.abspath(__file__).split('/')[:-1])
        self.data_path = os.path.join(cur_dir, 'data/medical.json')
        self.g = Graph(
            host="127.0.0.1",  # neo4j 搭载服务器的ip地址，ifconfig可获取到
            http_port=7474,  # neo4j 服务器监听的端口号
            user="neo4j",  # 数据库user name，如果没有更改过，应该是neo4j
            password="123456")

下面的代码是对知识图谱的节点的一个建立过程，这里的代码只创建了药、食物、检查结果和疾病信息等，其他的节点添加方式相同：

    '''创建知识图谱实体节点类型schema'''
    def create_graphnodes(self):
        Drugs, Foods, Checks, disease_infos = self.read_nodes()
        self.create_diseases_nodes(disease_infos)
        self.create_node('Drug', Drugs)
        # print(len(Drugs))
        self.create_node('Food', Foods)
        # print(len(Foods))
        self.create_node('Check', Checks)
        # print(len(Checks))
        return

    '''创建知识图谱中心疾病的节点'''
    def create_diseases_nodes(self, disease_infos):
        count = 0
        for disease_dict in disease_infos:
            node = Node("Disease", name=disease_dict['name'], desc=disease_dict['desc'],
                        prevent=disease_dict['prevent'] ,cause=disease_dict['cause'])
            self.g.create(node)
            count += 1
            # print(count)
        return

    '''建立节点'''
    def create_node(self, label, nodes):
        count = 0
        for node_name in nodes:
            node = Node(label, name=node_name)
            self.g.create(node)
            count += 1
            # print(count, len(nodes))
        return

json文件中的每个疾病节点结构如图，根据文件结构，我们读取文件的代码大致如下，这段代码大概的操作就是将json文件中的内容读入到相应的节点中：

    '''读取文件'''
    def read_nodes(self):
        # 几类节点
        foods = [] #　食物
        diseases = [] #疾病

        # 构建节点实体关系
        rels_noteat = [] # 疾病－忌吃食物关系
        rels_doeat = [] # 疾病－宜吃食物关系

        count = 0
        for data in open(self.data_path, encoding='utf-8'):
            disease_dict = {}
            count += 1
            # print(count)
            data_json = json.loads(data)
            disease = data_json['name']
            disease_dict['name'] = disease
            diseases.append(disease)

            if 'not_eat' in data_json:
                not_eat = data_json['not_eat']
                for _not in not_eat:
                    rels_noteat.append([disease, _not])

                foods += not_eat
                do_eat = data_json['do_eat']
                for _do in do_eat:
                    rels_doeat.append([disease, _do])

                foods += do_eat
                recommand_eat = data_json['recommand_eat']

            disease_infos.append(disease_dict)
        return set(drugs), set(foods), set(diseases), disease_infos

接下来我们创建实体的关系边，在第4行，我们可以看到，Disease是一个节点，Food是另一个节点，他们之间的关系是no_eat：

    '''创建实体关系边'''
    def create_graphrels(self):
        Foods, Diseases, rels_noteat, rels_doeat, rels_recommandeat = self.read_nodes()
        self.create_relationship('Disease', 'Food', rels_recommandeat, 'recommand_eat', '推荐食谱')
        self.create_relationship('Disease', 'Food', rels_noteat, 'no_eat', '忌吃')
        self.create_relationship('Disease', 'Food', rels_doeat, 'do_eat', '宜吃')

创建实体关联边的函数create_relationship结构如下：

    '''创建实体关联边'''
    def create_relationship(self, start_node, end_node, edges, rel_type, rel_name):
        count = 0
        # 去重处理
        set_edges = []
        for edge in edges:
            set_edges.append('###'.join(edge))
        all = len(set(set_edges))
        for edge in set(set_edges):
            edge = edge.split('###')
            p = edge[0]
            q = edge[1]
            query = "match(p:%s),(q:%s) where p.name='%s'and q.name='%s' create (p)-[rel:%s{name:'%s'}]->(q)" % (
                start_node, end_node, p, q, rel_type, rel_name)
            try:
                self.g.run(query)
                count += 1
                # print(rel_type, count, all)
            except Exception as e:
                print(e)
        return

将上述程序运行后，即可以将json文件整个加载到neo4j服务器上，因为json文件比较大，所以这个过程非常慢。

之后可以再写一个文件做一个应答系统，主要代码如下，这个程序主要是构造了一个类，分别完成了对提出问题的解析，和对回答的检索：

    def __init__(self):
        self.classifier = QuestionClassifier()
        self.parser = QuestionPaser()
        self.searcher = AnswerSearcher()

    def chat_main(self, question):
        answer = '您好，我是医药智能助理“小医”，希望可以帮到您。'
        res_classify = self.classifier.classify(question)
        if not res_classify:
            return answer
        res_sql = self.parser.parser_main(res_classify)
        final_answers = self.searcher.search_main(res_sql)
        if not final_answers:
            return answer
        else:
            return '\n'.join(final_answers)

Original: https://blog.csdn.net/m0_60976461/article/details/119729628
Author: 落霞孤雾
Title: 知识图谱学习笔记 4