NLP学习笔记16-专家系统

一 序

本文属于贪心NLP学习笔记系列。

leaning 学习逻辑:通过历史数据学习模型,通过模型来预测未来。

二 学习的两种主流方式

根据AI 发展的历程,可以分为两个branch

NLP学习笔记16-专家系统
  • 专家系统:基于规则
  • 基于于概率的系统(Probabilistic):给定数据D={X,y} 学习X到y的映射关系

数据量大则优先使用基于概率的系统;若数据量小或没有数据,则推荐使用专家系统(expert system)。

专家系统这是依赖人的经验(人就是专家),这种仍然广泛使用。

专家系统

NLP学习笔记16-专家系统

专家系统=推理引擎+知识(类似于程序=数据结构+算法)

利用知识和推理来解决决策问题(Decision Making Problem)

  • BI系统: 有大量的数据,对数据做整合,使得能辅助人的决策。(人在做决策)
  • AI系统: 帮助用户去决策(或者替代人做决策)

专家系统流程: Expert System’s Working Flow

涉及3类人:领域内专家、知识库工程师、算法工程师。

NLP学习笔记16-专家系统

搭建金融知识图谱。

NLP学习笔记16-专家系统

case 说明:需要什么样的人,什么样的技能。

专家系统特性:Properties of Expert Systems

  • 处理不确定性
  • 知识的表示:非结构化数据——》结构化数据:
  • 可解释性:知道为什么?基于规则处理的,可解释性强(优点)。
  • 可以做知识推理

逻辑推理

搭建好知识库之后,需要在这个基础上做一些推理。
Given:A Rule base contains following Rule set
Rule 1:If A and C Then F
Rule 2:If A and E Then G
Rule 3:If B Then E
Rule 4:If G Then D
Problem:Prove
If A and B true Then D is true

推理引擎背后需要高数的离散数学的支撑。

有两种方法,一种是前向推理,一种是后向推理。

NLP学习笔记16-专家系统

两次迭代得到结果。

后向推理,要从D is true倒推A and B true

NLP学习笔记16-专家系统

回顾专家系统:Drawbacks of Expert Systems

先说优点:
1、没有数据或者数据量很小也可以用。
2、可解释性很强。

缺点:
·设计大量的规则(Design Lots of Rules):复杂系统几千条几万条
·需要领域专家来主导(Heavily Reply on Domain Expert):专家稀缺
·可移植性差(Limited Transferability to other Domain):不同领域之间难迁移
·学习能力差(Inability to Learn):虽然有推理,相对于AI还是差很多
·人能考虑的范围是有限的(Human Capacity is Limited):人有分工。

Case Study:Risk Control金融风控实例

问题:根据用户的信息,决定要不要放贷

rule engine 规则引擎,一条条规则,违法某条会被拒掉。

NLP学习笔记16-专家系统

还有类似算分的专家系统灵活一点,汇总算个总分,超过阈值拒掉,不会因为违反某条规则就被拒绝。

专家系统面临的问题

逻辑推理(Logical Inference):参照前面

解决规则冲突(Conflict Resolution)

这个可以用个推理的方式来证明规则是否冲突,有冲突就删除

选择最小规则的子集(Minimum Size of Rules):

如何去除多余的规则,选择最小的规则子集。(贪心算法:一条条删除,看看对于系统的影响如何,影响不大可删除)

解决一个难题的思路:

是衡量一个NLP工程师的关键指标。比掌握具体问题还要重要。

细分垂直领域都会有很多挑战,怎么翻也不会有现成的答案。

1 找一个计算机领域类似的”经典”问题。

经典问题具有很多人研究,思路可借鉴,不一定直接拿来。

2 找文献。找类似问题不同变种(条件不同)

根据已知的不同变种,不断学习,会不断趋近于自己的问题,或者高度接近,会让自己有个解决的思路或者是方向。

有了方向去努力,不会完全迷失,无从下手。

总结:

没啥数据的时候,不要越过专家系统,还是踏踏实实从基础做起。

NLP学习笔记16-专家系统

Original: https://blog.csdn.net/bohu83/article/details/113246489
Author: bohu83
Title: NLP学习笔记16-专家系统

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/594744/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球