项目简介
nlp-hanzi-similar 为汉字提供相似性的计算。
; 创作目的
有一个小伙伴说自己在做语言认知科学方向的课题研究，看了我以前写的 NLP 中文形近字相似度计算思路
就想问下有没有源码或者相关资料。
国内对于文本的相似度计算，开源的工具是比较丰富的。
但是对于两个汉字之间的相似度计算，国内基本一片空白。国内的参考的资料少的可怜，国外相关文档也是如此。
于是将以前写的相似度算法整理开源，希望能帮到这位小伙伴。
本项目旨在抛砖引玉，实现一个基本的相似度计算工具，为汉字 NLP 贡献一点绵薄之力。
特性
- fluent 方法，一行代码搞定一切
- 高度自定义，允许用户定义自己的实现
- 词库自定义，适应各种应用场景
- 丰富的实现策略
默认实现了基于 四角编码+拼音+汉字结构+汉字偏旁+笔画数 的相似度比较。
变更日志
快速开始
需要
jdk1.7+
maven 3.x+
maven 引入
<dependency>
<groupId>com.github.houbbgroupId>
<artifactId>nlp-hanzi-similarartifactId>
<version>1.0.0version>
dependency>
快速开始
基本用法
HanziSimilarHelper.similar 获取两个汉字的相似度。
double rate1 = HanziSimilarHelper.similar('末', '未');
结果为：
0.9629629629629629
自定义权重
默认是根据 四角编码+拼音+汉字结构+汉字偏旁+笔画数 进行相似度比较。
如果默认的系统权重无法满足你的需求，你可以通过自定义权重调整：
double rate = HanziSimilarBs.newInstance()
.jiegouRate(10)
.sijiaoRate(8)
.bushouRate(6)
.bihuashuRate(2)
.pinyinRate(1)
.similar('末', '未');
自定义相似度
有些情况下，系统的计算是无法满足的。
用户可以在根目录下 hanzi_similar_define.txt 进行自定义。
入人 0.9
人入 0.9
这样在计算 人 和 入 的相似度时，会优先以用户自定义的为准。
double rate = HanziSimilarHelper.similar('人', '入');
此时的结果为用户自定义的值。
引导类
说明
为了便于用户自定义， HanziSimilarBs 支持用户进行自定义配。
HanziSimilarBs 中允许自定义的配置列表如下：
序号属性说明1bihuashuRate笔画数权重2bihuashuData笔画数数据3bihuashuSimilar笔画数相似度策略4jiegouRate结构权重5jiegouData结构数据6jiegouSimilar结构相似度策略7bushouRate部首权重8bushouData部首数据9bushouSimilar部首相似度策略10sijiaoRate四角编码权重12sijiaoData四角编码数据13sijiaoSimilar四角编码相似度策略14pinyinRate拼音权重15pinyinData拼音数据16pinyinSimilar拼音相似度策略17hanziSimilar汉字相似度核心策略18userDefineData用户自定义数据
所有的配置都可以基于接口，用户进行自定义。
快速体验
说明
如果 java 语言不是你的主要开发语言，你可以通过下面的 exe 文件快速体验一下。
下载地址
https://github.com/houbb/nlp-hanzi-similar/releases/download/exe/hanzi-similar.zip
下载后直接解压得到 hanzi-similar.exe 免安装的可执行文件。
执行效果
界面是使用 java swing 实现的，所以美观什么的，已经完全放弃治疗 T_T。
使用 exe4j 打包。
字符一输入一个汉字，字符二输入另一个汉字，点击计算，则可以获取对应的相似度。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Co86EgTm-1637587412203)(similar-execute.png)]
字典的弊端
这个项目开源，是因为有一位小伙伴有相关的需求，但是他不懂 java。
一开始想把项目设计成为字典的形式，两个字对应一个相似度。
但是有一个问题，2W 汉字，和 2W 汉字的相似度字典，数量已经是近亿的数据量。
空间复杂度过高，同时会导致时间复杂度问题。
所以目前采用的是实时计算，有时间做一下其他语言的迁移 😃
实现原理
实现思路
不同于文本相似度，汉字相似度的单位是汉字。
所以相似度是对于汉字的拆解，比如笔画，拼音，部首，结构等。
推荐阅读：
计算思路描述了实现的原理，但是小伙伴反应不会实现，于是才有了本项目。
核心代码
核心实现如下，就是各种相似度，进行加权计算。
@Override
public double similar(final IHanziSimilarContext context) {
final String charOne = context.charOne();
final String charTwo = context.charTwo();
if(charOne.equals(charTwo)) {
return 1.0;
}
Map<String, Double> defineMap = context.userDefineData().dataMap();
String defineKey = charOne+charTwo;
if(defineMap.containsKey(defineKey)) {
return defineMap.get(defineKey);
}
IHanziSimilar sijiaoSimilar = context.sijiaoSimilar();
double sijiaoScore = sijiaoSimilar.similar(context);
IHanziSimilar jiegouSimilar = context.jiegouSimilar();
double jiegouScore = jiegouSimilar.similar(context);
IHanziSimilar bushouSimilar = context.bushouSimilar();
double bushouScore = bushouSimilar.similar(context);
IHanziSimilar biahuashuSimilar = context.bihuashuSimilar();
double bihuashuScore = biahuashuSimilar.similar(context);
IHanziSimilar pinyinSimilar = context.pinyinSimilar();
double pinyinScore = pinyinSimilar.similar(context);
double totalScore = sijiaoScore + jiegouScore + bushouScore + bihuashuScore + pinyinScore;
if(totalScore 0) {
return 0;
}
double limitScore = context.sijiaoRate() + context.jiegouRate()
+ context.bushouRate() + context.bihuashuRate() + context.pinyinRate();
return totalScore / limitScore;
}
具体的细节，如果感兴趣，可以自行阅读源码。
开源地址
为了便于大家的学习和使用，本项目已开源。
开源地址：
欢迎大家，fork&star 鼓励一下老马~
算法的优缺点
优点
为数不多的几篇 paper 是从汉字的结构入手的。
本算法引入了四角编码+结构+部首+笔画+拼音的方式，使其更加符合国内的使用直觉。
缺点
部首这部分因为当时数据问题，实际上是有缺憾的。
后续准备引入拆字字典，对汉字的所有组成部分进行对比，而不是目前一个简单的部首。
后期 Road-MAP
- 丰富相似度策略
- 优化默认权重
- 优化 exe 界面
Original: https://blog.csdn.net/ryo1060732496/article/details/121481035
Author: 老马啸西风
Title: NLP 中文形近字相似度算法开源实现
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531542/
转载文章受原作者版权保护。转载请注明原作者出处！