本博客所有知识来源于百度paddle框架中的相关材料，只做分享，大家可以在github搜索paddle框架的相关内容。
1. 简介
在机器学习中，我们经常会遇到度量数据间距离的问题。一般来说，对于可度量的数据，我们可以直接通过欧式距离(Euclidean Distance)，向量内积(Inner Product)或者是余弦相似度(Cosine Similarity)来进行计算。但对于非结构化数据来说，我们却很难进行这样的操作，如计算一段视频和一首音乐的匹配程度。由于数据格式的不同，我们难以直接进行上述的向量运算，但先验知识告诉我们 ED(laugh_video, laugh_music) < ED(laugh_video, blue_music), 如何去有效得表征这种”距离”关系呢? 这就是 Metric Learning 所要研究的课题。
Metric learning 全称是 Distance Metric Learning，它是通过机器学习的形式，根据训练数据，自动构造出一种基于特定任务的度量函数。Metric Learning 的目标是学习一个变换函数（线性非线性均可）L，将数据点从原始的向量空间映射到一个新的向量空间，在新的向量空间里相似点的距离更近，非相似点的距离更远，使得度量更符合任务的要求，如下图所示。 Deep Metric Learning，就是用深度神经网络来拟合这个变换函数。
2. 应用
Metric Learning 技术在生活实际中应用广泛，如我们耳熟能详的人脸识别(Face Recognition)、行人重识别(Person ReID)、图像检索(Image Retrieval)、细粒度分类(Fine-grained classification)等。随着深度学习在工业实践中越来越广泛的应用，目前大家研究的方向基本都偏向于 Deep Metric Learning(DML).
一般来说, DML 包含三个部分: 特征提取网络来 map embedding, 一个采样策略来将一个 mini-batch 里的样本组合成很多个 sub-set, 最后 loss function 在每个 sub-set 上计算 loss. 如下图所示：
3. 算法
Metric Learning 主要有如下两种学习范式：
3.1 Classification based:
这是一类基于分类标签的 Metric Learning 方法。这类方法通过将每个样本分类到正确的类别中，来学习有效的特征表示，学习过程中需要每个样本的显式标签参与 Loss 计算。常见的算法有 L2-Softmax, Large-margin Softmax, Angular Softmax, NormFace, AM-Softmax, CosFace, ArcFace等。](https://arxiv.org/abs/1801.07698%29%E7%AD%89%E3%80%82 “https://arxiv.org/abs/1801.07698)等。”) 这类方法也被称作是 proxy-based, 因为其本质上优化的是样本和一堆 proxies 之间的相似度。
3.2 Pairwise based:
这是一类基于样本对的学习范式。他以样本对作为输入，通过直接学习样本对之间的相似度来得到有效的特征表示，常见的算法包括：Contrastive loss, Triplet loss, Lifted-Structure loss, N-pair loss, Multi-Similarity loss等](https://arxiv.org/pdf/1904.06627.pdf%29%E7%AD%89 “https://arxiv.org/pdf/1904.06627.pdf)等”)
2020 年发表的CircleLoss，从一个全新的视角统一了两种学习范式，让研究人员和从业者对](https://arxiv.org/abs/2002.10857%29%EF%BC%8C%E4%BB%8E%E4%B8%80%E4%B8%AA%E5%85%A8%E6%96%B0%E7%9A%84%E8%A7%86%E8%A7%92%E7%BB%9F%E4%B8%80%E4%BA%86%E4%B8%A4%E7%A7%8D%E5%AD%A6%E4%B9%A0%E8%8C%83%E5%BC%8F%EF%BC%8C%E8%AE%A9%E7%A0%94%E7%A9%B6%E4%BA%BA%E5%91%98%E5%92%8C%E4%BB%8E%E4%B8%9A%E8%80%85%E5%AF%B9 “https://arxiv.org/abs/2002.10857)，从一个全新的视角统一了两种学习范式，让研究人员和从业者对”) Metric Learning 问题有了更进一步的思考。
Original: https://blog.csdn.net/weixin_44911037/article/details/123151147
Author: 一名不想学习的学渣
Title: MetricLearning度量学习简介及应用（分享笔记）
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/712272/
转载文章受原作者版权保护。转载请注明原作者出处！