1. Johngo学长首页
  2. 技术点详细复盘专题
  3. 人工智能

去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

• 人工智能 • 阅读 79

知乎同名账号同步发布

今天看一篇自监督图像去噪论文：

题目：Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
paper：https://arxiv.org/abs/2203.06967
code：https://github.com/demonsjin/Blind2Unblind

目录

前置知识

需要了解Noise2Void，如果不了解，可以看我写的笔记。

看完之后，我们知道，对于Noise2void（N2V）来说，给定一张noisy image y，先将它上面的一些点mask掉，然后输入给神经网络，神经网络输出的target为y本身，这样网络就能够学到去噪的方法。

上面的这种方法被称为blindspots schemes，因为它mask掉了input的一些pixels，使得网络看不见这些pixel。

Blind2Unblind文中提到了”relief from identity mapping”，其指出含有盲点的方法，能够避免恒等映射。所谓恒等映射，指的就是如果在blindspots schemes中，不去mask掉input中的一些pixels，而是将完整的y输入给神经网络，并且神经网络的target是输出y本身，那么网络就会学到恒等映射，而不是学到去噪的方法。

但另一方面，作者也提出，blindspots schemes也有缺点，那就是会导致information loss，因为网络看不到被mask掉的这些点的信息。

创新点

作者指出，N2V这一类的方法，由于盲点的存在，能够避免网络学习恒等映射，同时根据数学分析和实验证明，网络能够学到去噪。

所以作者准备使用blindspots schemes，但是作者同时也不想承受information loss，所以在架构设计的时候，他使用了raw noisy image y，也就是不进行mask操作的、原始的noisy image。这样，就能够利用到所有input像素点的信息，理论上讲避免了information loss。

模型架构

去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
一张noisy image y通过一个global masker Ω操作，变成四张含有盲点的图片，这四张图片分别通过去噪网络f，获得四张去噪结果，然后通过global mask mapper h的操作，获得一张去噪结果h ( f θ ( Ω y ) ) h(f_θ(Ω_y))h (f θ​(Ωy ​))。另一方面，完整的noisy image y也要通过去噪神经网络f，获得另一个去噪结果f θ ( y ) f_θ(y)f θ​(y )。为了简便起见，前者我称其为”含有盲点的去噪结果”，后者我称其为”不含盲点的去噪结果”。两者进行一个加权平均，获得的结果和y做loss，即L r e v L_{rev}L r e v ​，rev的意思是re-visible，也就是本来是一个blindspots的方案，现在因为引入了raw noisy image y，它变得不再那么blind了，不再需要承受information loss了。L r e g L_{reg}L r e g ​是正则化项，意义自明。

去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
架构图中的Ω和h操作也非常简单。作者用4×4的图片进行举例说明，先将图片分成若干2×2的cell，分别同时对每个cell的左上角、右上角、左下角、右下角进行mask操作，获得四张含有盲点的图片，输入去噪网络，得到四张去噪结果。四张去噪结果中的灰色代表和去噪前盲点所在位置对应的pixel，h要做的事情就是将所有灰色的pixel，相对位置不发生变化，提取出来组成一张图片，也就是最右边的灰色图片，它就是所有盲点对应的去噪结果。上图中有半部分的最上面，对应的就是完整的y得到的去噪结果（不含盲点）。两个去噪结果要一同使用来训练。

; inference阶段

去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
注意一下上图就行了，意思就是说不含盲点的去噪结果，从经验上来讲要拥有更好的效果，所以inference阶段只使用它。

实验

做了合成图像去噪、真实图像去噪，部分情况下指标不是最高，节选部分显著的实验结果如下：

去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots
这是SIDD上的结果，可以看出确实比N2V要好，但是和NBR2NBR无明显差异。

Original: https://blog.csdn.net/umbrellalalalala/article/details/123713104
Author: umbrellalalalala
Title: 去噪论文阅读——[CVPR2022]Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/532679/

转载文章受原作者版权保护。转载请注明原作者出处！

赞 (0)
0

【自取】最近整理的，有需要可以领取学习：



Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言 刷题答案下载！

大家都在看

亲爱的 Coder【最近整理，可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球