[算法整理]可能是最全的无监督/自监督单目深度估计方法汇总 – Part1:视频序列篇

借着最近开题写开题报告的机会,比较细致地整理了一下之前看过的自监督单目深度估计相关的论文。合计了一下,感觉写篇综述有点太耗时耗力,干脆就在这里分享出来好了。
论文列表持续更新中

  • 2022.4.16:视频序列篇-单任务方法:19篇
  • 视频序列篇-多任务方法
  • 双目图像篇

广告时间:SMDE-Pytorch

一个基于Pytorch的自监督单目深度估计开发、训练和测试开源工具箱
GitHub
由于近一年都在做自监督单目深度估计的相关工作,自己也动手尝试了不少代码。但自监督单目深度估计一直没有一个像MMsegmentation一样的囊括各种方法的开发工具箱。既然没有那就自己造一个!

  • 对于只是想尝试或者体验一下效果的人,该工具箱可以通过简单的配置和命令实现对你自己图像的深度估计。
  • 对于科研工作者,该工具箱中提供最近流行方法的预训练模型,以及统一的测试代码,可以方便地进行对比。
  • 对于想进一步开发的人,该工具箱可以方便地替换网络结构,损失函数等部分,让你更快速地进行探索和实验(尽请期待)。

自监督学习的单目深度估计

单目深度估计的目标是从一幅给定的图像中预测一幅深度图,表示图像中每个像素对应的场景与相机之间的距离。基于自监督学习的单目深度估计方法使用深度网络模型完成稠密深度的预测,并且在训练阶段不需要带有深度真值的训练样本,而采用视频序列中的连续帧或双目相机拍摄的图像对作为输入,以图像重建作为目标对深度网络模型进行训练。
根据训练时使用的样本形式,基于自监督学习的单目深度估计方法可以大致被分为两类:采用视频序列训练的方法和采用双目图像训练的方法。

采用视频序列训练的方法在训练阶段以视频序列中的连续帧作为训练样本。由于连续帧之间的相机运动是未知的,这些方法在训练阶段除了估计目标图像的深度图之外,还需要估计目标图像与源图像之间的相机运动。

原文链接/开源代码/ SMDE-Pytorch中已复现
关键词:仅通过对损失函数进行修改,大大提高了深度估计的精度。同时也研究了采用双目图像和双目视频训练
主观评价: 必读,所提出的几种损失函数几乎被之后所有采用视频序列的方法所借鉴。

未完待续

Original: https://blog.csdn.net/weixin_41625823/article/details/123908243
Author: 正在变胖的喵喵
Title: [算法整理]可能是最全的无监督/自监督单目深度估计方法汇总 – Part1:视频序列篇

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/519658/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球