bm25 是什么？
bm25 是一种用来评价搜索词和文档之间相关性的算法，它是一种基于 概率检索模型提出的算法，再用简单的话来描述下bm25算法：我们有一个query和一批文档Ds，现在要计算query和每篇文档D之间的相关性分数，我们的做法是，先对query进行切分，得到单词$q_i$，然后单词的分数由3部分组成：
- query中每个单词
和文档d之间的相关性 - 单词和query之间的相关性
- 每个单词的权重
最后对于每个单词的分数我们做一个求和，就得到了query和文档之间的分数。
下面将从3个部分来介绍bm25算法。
单词权重
单词的权重最简单的就是用idf值
其中N表示索引中全部文档数，
为包含了的文档的个数。依据IDF的作用，对于某个，包含的文档数越多，说明重要性越小，或者区分度越低，IDF越小，因此IDF可以用来刻画与文档的相似性。
单词和文档的相关性
tf-idf中，这个信息直接就用”词频”，如果出现的次数比较多，一般就认为更相关。但是BM25洞察到：词频和相关性之间的关系是非线性的，具体来说，每一个词对于文档相关性的分数不会超过一个特定的阈值，当词出现的次数达到一个阈值后，其影响不再线性增长，而这个阈值会跟文档本身有关。
在具体操作上，我们对于词频做了”标准化处理”，具体公式如下：
,
其中，
是单词t在文档d中的词频，是文档d的长度，是所有文档的平均长度，变量是一个正的参数，用来标准化文章词频的范围，当=0，就是一个二元模型（binary model）（没有词频），一个更大的值对应使用更原始的词频信息。b是另一个可调参数（0
Original: https://blog.csdn.net/laobai1015/article/details/120143102
Author: 小白的进阶
Title: BM25算法 原理简介
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/530969/
转载文章受原作者版权保护。转载请注明原作者出处！