关注 ▲对白▲ 和百万AI爱好者，一起向上生长
这是对白的第 89 期分享
作者 l 滑块太阳 出品 l 对白的算法屋
大家好，我是对白。
今天给大家介绍一个NLP领域 文本匹配新SOTA： S-SimCSE。
; Dropout rate 采样
本文不是使用固定的dropout rate，而是从一个预定义的分布抽样dropout rate。首先从一个预先定义的分布(如均匀分布)中抽取两个dropout rate r1和r2。然后，按照SimCSE，将输入语句两次输入网络，其中dropout rate分别为r1和r2。本质更像是超参数搜索的随机搜索，可以将dropout rate限制到一个区间如[0,0.3]采样，或者干脆[0.05,0.1,0.015,0.20…]网格搜索。本文的新意在于采用不同的dropout rate。
句子掩码策略
dropout只在全连接层之前使用。具体地说，让 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kQTgBCRS-1647173106222)(https://mmbiz.qpic.cn/mmbiz_svg/XzhF92tBcezvyTRHZvwStN2NjrQP2g4fWibR3gFymN9NEb9iaNsZaR0vicjvzxTP0Fkf37zxic1FjKRbXO4iaULdEatwkSCouDFzy/640?wx_fmt=svg)] 表示第l层(全连接层)的第i个句子的输出向量。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lcwo4Quq-1647173106222)(https://mmbiz.qpic.cn/mmbiz_svg/XzhF92tBcezvyTRHZvwStN2NjrQP2g4fV9FrWMENIic4JmEMGnd5JmP2juouk5eoJdPOmNS3LsfNYkkDmJOibt7TIMibaVOyhDA/640?wx_fmt=svg)] 和 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IKzFvdGF-1647173106223)(https://mmbiz.qpic.cn/mmbiz_svg/XzhF92tBcezvyTRHZvwStN2NjrQP2g4f6rugAUGicImtuGcE7hibYJHbp79bwcxrErBGibkEZMCw89faFC2ZtjyNQCibpO6RMwOt/640?wx_fmt=svg)] 是第l层的权重和偏差。标准全连接层的前馈操作可以表示为：
对于小批处理中的每个句子，我们使用从分布τ中采样的dropout rate采样一个新掩码。这样可以在一次前向传播过程中得到不同的子网络。
实验结果
作者并未做很详细的实验对比
参考文献
S-SimCSE：Sampling Sub-networks for Contrastive Learning of Sentence Embedding
如果觉得有用，就请分享到朋友圈吧！
Original: https://blog.csdn.net/qq_33161208/article/details/123464972
Author: 程序员对白
Title: S-SimCSE：基于抽样子网络的句子嵌入对比学习
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/531742/
转载文章受原作者版权保护。转载请注明原作者出处！