SimCSE初步使用且和Bert的简单对比
在很多 NLP 任务中都会用到句子向量，例如文本检索、文本粗排、语义匹配等任务。现在有不少基于 Bert 的方式获取句子向量，例如 Bert-flow 和 Bert-whitening 等，这些方法会对预训练 Bert 的输出进行变换从而得到更好的句子向量。本文介绍 SimCSE，SimCSE 通过对比学习的方法训练模型，取得 SOTA 的效果。
模型下载
huggingface这个网站真的是太棒了。提供了封装好后的SimCSE。其实SimCSE也是在Bert基础上进行了修改。所以使用方式和Bert没有什么区别。
可以去这个网址下载 https://huggingface.co/princeton-nlp/sup-simcse-bert-base-uncased模型文件。我是预先下载到本地了。
简单使用
import torch
from scipy.spatial.distance import cosine
from transformers import AutoModel, AutoTokenizer
model_path_simcse = "../pretrained_models/sup-simcse-bert-base-uncased"
model_path_bert = "../pretrained_models/bert-base-uncased"
tokenizer_simcse = AutoTokenizer.from_pretrained(model_path_simcse)
model_simcse = AutoModel.from_pretrained(model_path_simcse)
tokenizer_bert = AutoTokenizer.from_pretrained(model_path_bert)
model_bert = AutoModel.from_pretrained(model_path_bert)
texts = [
"Deep Learning",
"Hello",
"World"
]
inputs_simcse = tokenizer_simcse(texts, padding=True, truncation=True, return_tensors="pt")
inputs_bert = tokenizer_bert(texts, padding=True, truncation=True, return_tensors="pt")
with torch.no_grad():
embeddings_simcse = model_simcse(**inputs_simcse, output_hidden_states=True, return_dict=True).pooler_output
embeddings_bert = model_bert(**inputs_bert, output_hidden_states=True, return_dict=True).pooler_output
cosine_sim_0_1_simcse = 1 - cosine(embeddings_simcse[0], embeddings_simcse[1])
cosine_sim_0_2_simcse = 1 - cosine(embeddings_simcse[0], embeddings_simcse[2])
print("使用SimCSE")
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (texts[0], texts[1], cosine_sim_0_1_simcse))
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (texts[0], texts[2], cosine_sim_0_2_simcse))
cosine_sim_0_1_bert = 1 - cosine(embeddings_bert[0], embeddings_bert[1])
cosine_sim_0_2_bert = 1 - cosine(embeddings_bert[0], embeddings_bert[2])
print("使用原生Bert")
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (texts[0], texts[1], cosine_sim_0_1_bert))
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (texts[0], texts[2], cosine_sim_0_2_bert))
结果展示
使用SimCSE
Cosine similarity between "Deep Learning" and "Hello" is: 0.209
Cosine similarity between "Deep Learning" and "World" is: 0.432
使用原生Bert
Cosine similarity between "Deep Learning" and "Hello" is: 0.919
Cosine similarity between "Deep Learning" and "World" is: 0.818
小结
引用知乎文章 https://zhuanlan.zhihu.com/p/430580960的解释.Bert存在两个问题
- Bert encode出来的向量表达具有各向异性
- 什么叫各向异性？举个例子，一些电阻原件，正接是良导体，反接是绝缘体或者电阻很大，沿不同方向差异很大。在bert出来的向量中表现为，用不同的方式去衡量它，他表现出不同的语义，差别很大，也就是不能完整的衡量出bert向量中全部语义信息
- 分布不均匀，低频词分布稀疏，高频词分布紧密。
- 也就是高频词会集中在头部，离原点近，低频词会集中在尾部，离远点远高频词与低频词分布在不同的区域，那高频词与低频词之间的相识度也就没法计算了。这也反映出来的就是明显的低频词没有得到一个很好的训练。同时，高频词频次高，也会主宰句子表达。
从实验中我们也可以看出来Bert做文本表达任务很明显效果不好。 Deep Learning 和 Hello 的余弦相似度竟然高达 0.919。而 SimCSE很明显比 Bert的表达更好一点。
补充
值得注意的是， 单词级相似度比较不适用于BERT embeddings，因为这些嵌入是上下文相关的，这意味着单词vector会根据它出现在的句子而变化。这就允许了像一词多义这样的奇妙的东西，例如，你的表示编码了river “bank”，而不是金融机构”bank”，但却使得直接的词与词之间的相似性比较变得不那么有价值。但是，对于句子嵌入相似性比较仍然是有效的，这样就可以对一个句子查询其他句子的数据集，从而找到最相似的句子。根据使用的相似度度量，得到的相似度值将比相似度输出的相对排序提供的信息更少，因为许多相似度度量对向量空间(例如，等权重维度)做了假设，而这些假设不适用于768维向量空间。
Original: https://blog.csdn.net/Fitz1318/article/details/123707691
Author: Fitz1318
Title: SimCSE初步使用且和Bert的简单对比
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/662510/
转载文章受原作者版权保护。转载请注明原作者出处！