提示：
信息检索：文档评分-词项权重计算-向量空间模型
第四部分：向量空间模型
文章目录
; 向量空间模型
关联矩阵
二值关联矩阵：词项-文档
词频矩阵：词频-文档
权重是前面的tf-idf权重：
; 文档表示成向量
|V|维向量空间，每一维都对应词项，文档是空间的点或向量。
维度相当大，对于互联网来说，甚至达到千万维或更高。
向量空间非常稀疏，几乎都是0.
Queries表示成向量
■关键思路1:对于查询做同样的处理，即将查询表示成同一高维空间的向量
■关键思路2:在向量空间内根据queries与文档向量间的距离来排序
向量相似度计算
欧式距离？
计算两个向量终点之间的距离：
不能采用欧氏距离，从上图分析，欧氏空间对距离十分敏感，q与d2欧氏距离很远，但它们实际分布很接近。
; 利用夹角代替距离
文档长度归一化
就是把文档向量，变成单位向量呗，长度就不会影响相关性比较了，上面的文档d和d’就相等了。同一个向量表示就可以了
向量除以L2范数就是长度归一化。
文档长度差异就不会影响到相关性的比较了。
余弦相似度(query,document)
观点等价于夹角递减排序
[0,180]区间内，cosine是单调递减函数。
cos(q,d) q,d的余弦相关性等价于q,d夹角余弦值。
长度归一化后：
; ※余弦相似度计算举例
词项频率tf—>词项频率tf取对数—>长度归一化—>计算
文档-词项频率tf关联表如下：文档(sas,pap,wh)
把query表加入上述表之中，分别计算query和其他文档的cosine值，那么就能得出，其他文档与query的相关度
Original: https://blog.csdn.net/qq_45783383/article/details/121592563
Author: 心灵排骨汤
Title: 6.4向量空间模型，余弦相似度计算
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531574/
转载文章受原作者版权保护。转载请注明原作者出处！