SuperPoint – 一个网络结构简单清晰的特征点任务网络
任务描述
角点任务一般分为2个部分：【角点检测】和【描述子生成】
- 角点检测：
【角点】：图像处理中，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。（来自百度百科）
在实际应用中，我们需要在不同的图像中寻找这样的点，并且要求在A图中找到的点在B图中也要找到相同的点。 - 描述子生成：
对于进一步的匹配任务来说，每个角点都需要一个对应的描述子，用于描述角点的n维特征向量。
传统算法
- Harris 只生成角点，不生成描述子。之前发过相关文章，点击这里查看
- Fast 滑窗，对候选点附近n（ 16或12或9或4…）个pixel的灰度进行计算，需要nms。 特点就是快
- SIFT
- SURF
- BRIEF 按策略在邻域选取256个点对，对比大小，获得256位0，1特征向量。
- ORB（Oriented Fast and Oriented BRIEF）方向依靠质心法获得
SuperPoint
网络结构
Superpoint的网络结构在如今trick横飞的深度学习领域，显得非常朴素。一个标准的特征提取器（encoder）+ 两个decoder head。
Interest Point Decoder部分（detection）将feature map的维度扩展到N x H/8 x W/8 x 65使用softmax计算概率，即一个特征图上的点代表8×8的一个block，65个channel分别代表：8x8block内每个pixel的角点概率 + block内无角点概率。
Descriptor Decoder部分，计算了一个半稠密的角点特征描述子集合（H/8 * W/8），再由resize操作拓展到全图。Paper中使用了Bi-Cubic的方法，一般来说，在实际操作过程中，Bi-Linear会是我们首选的操作。
; Loss定义
2.Descriptor Generator
首先要求将interest point匹配成pair。p为block的中心点坐标。经过关系为H的齐次变换后，将两张H/8W/8的feature map映射到同一坐标系下，以block范围（8pixel）为界，界内为对应匹配。 匹配对数量为(H/8 x H/8)(H/8 x H/8)**
特征点的描述子距离计算用了一个cos距离（即向量点乘），引入了两个边界m p m_p m p 和m n m_n m n ，对loss范围进行限制，同时引入λ d \lambda_d λd 对正负样本进行平衡。
半自监督训练
Superpoint是一套半自监督的方案，何谓半自监督？训练流程如下：
- 人工生成几何数据（带角点label)
- 使用人工数据训练角点检测部分的网络（MagicPoint）
- 在真实图像数据上进行MagicPoint推理，此时会对同一张图片进行多次的齐次变换（Homographic Adaptation），汇总检测结果，制成该图像的标签。获得带标签的真实图像数据。
- 在真实图像数据上对SuperPoint进行端到端的训练（Corner Detector + Descriptor Generator）
; 推理
魔改思考
- MagicPoint获得的是一个半稠密的corner map，即全图最多有H/8 * W/8个特征点（虽然这个值已经远高于正常的ORB算法）。但是，如果我们将Decoder的Softmax部分变更为sigmoid，再去掉最后一位表示无角点概率的channel，即可获得一个HxW的稠密corner map。在特定场景会有这样的需求。当然，相关的descriptor的loss也要重新设计。
- λ d \lambda_d λd 可以改成p o s p a i r p o s p a i r + n e g p a i r \frac{pos\ pair}{pos\ pair + neg\ pair}p o s p a i r +n e g p a i r p o s p a i r
Original: https://blog.csdn.net/weixin_44558898/article/details/122027694
Author: 嗯对我就是吃不饱的阿德
Title: SuperPoint – 一个网络结构简单清晰的特征点任务网络
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/645146/
转载文章受原作者版权保护。转载请注明原作者出处！