本文主要介绍的是加法神经网络的超分应用 (CVPR 2021 Oral），这篇是华为诺亚AdderNet的衍生版本，在超分辨率上的应用。
AdderNet显著降低了分类网络的能耗，同时实现了相当的性能。所以，作者的新目标是将AdderNet应用在具有更高的能耗和计算复杂性图像超分辨率任务上。
目录
1.加法神经网络能不能应用于超分的任务上？
理论上可行，但是应注意两个问题:
（1）超分网络相邻2层之间的差异在纹理和颜色信息上都非常相似，AdderNet是否能实现这样的效果
（2）随着深度的增加，高频信息将得到增强，高通滤波器应如何设置？
因此设计的加法神经网络应能保证这两个重要的性质。
相关工作
现有的超分辨率方法大致有三类：基于插值的方法、基于字典的方法和基于深度学习的方法。
超分任务用公式可以表达为：
香港中文大学的董超老师再ECCV 2014年发表的Learning a deep convolutional net work for image super-resolution是第一个将深度学习应用在超分上的工作。在ECCV 2016年发表的Accelearting the super-resolution convolutional neural network又第一个通过将网络应用于低分辨率图像而不是上采样输入图像，提高了超分模型的效率。
VDSR,EDSR和RDN使用非常深的网络来完成超分的任务，虽然提升了性能，但是参数量和计算量也大幅增长。前任也有许多设计高效超分模型的方法：
使用高效operator的
CARN(ECCV 2018)：Fast, accurate, and lightweight super-resolution with cascading residual network
IDN(CVPR 2018)：Fast and accurate single image super-resolution via information distillation network
MAFFSRN(ECCV 2020)：Ultra lightweight image super-resolution with multi-attention layers
使用蒸馏的
(ACCV 2018)：Image super-resolution using knowledge distillation
使用slimming技术的
(ECCV 2020)：Gan slimming: All-in-one gan compression by a unified optimization framework
使用NAS的
(ICML 2020)：Autogan-distiller: Searching to compress generative adversarial networks
(Arxiv)：Efficient residual dense block search for image super resolution
即使这些方法得到的模型比较高效，但是对于部署在端侧设备来讲还不够轻巧。
2.具体是怎么做的?
残差解决Identity mapping的问题
图1
于是接下来作者给出了个定理：
啥意思呢?意思就是你像训练出权重W，通过任意的图片，输出都不变。那很遗憾，你训练不出这样的权重W。这个是可以证明的。证明如下：
反证法：假设这样的权重W是存在的，则对于任意的
都有：
公式1
这里证明的突破口就在这个任意的
，那么我就可以找一个，使得它满足
此时应该有：
式1
化简一下
式2
所以原始的AdderNet不适用于SR任务。要对adder unit做一些改进，你不就是要输出等于输入吗，那么可不可以借鉴ResNet的思想只让AdderNet学习出残差。
可以的，事实上作者也是这么做的，令
公式2
这样的AdderNet其实也可以取名为Residual AdderNet。
可学习指数的激活函数解决高通滤波器的问题：
另外一个超分CNN网络的重要特征是随着深度的增加，高频信息将得到增强，所以许多SISR模型的卷积核就相当于是高通滤波器，使得颜色和纹理信息得以增强。
通常自然图像由不同的频率信息组成，入下图所示。比如背景和大面积的草都是低频信息，其中大部分相邻像素非常接近。 相比之下，物体的边缘对于给定的整个图像来说是精确的高频信息。
接下来作者给出了个定理：
式中，s是任意实数。
这个定理的意思是：对于任意低频的图片s*E，在AdderNet作用之后都会去掉，则W起了高通滤波器的作用。但是很容易发现根根本不存在这样的W。
证明：反证法：假设存在这样的权重，则对于任意的s都有
那就推出：
显然矛盾，故假设不成立。
定理得证。
所以原始的AdderNet无法完成高通滤波器的功能。
作者于是使用了一种可学习指数的激活函数：
公式3
(1)当学习出来的
>1时，输出结果的差距被拉大了，强化了高频信息。
(2)当学习出来的0<
Original: https://blog.csdn.net/wanghuiqiang1/article/details/123530771
Author: the sourth wind
Title: 论文解读：AdderSR Towards Energy Efficient Image Super-Reso
原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/690606/
转载文章受原作者版权保护。转载请注明原作者出处！