图像去噪、图像复原、图像超分辨率重建,它们之间有什么联系与区别?

如题,本人刚接触图像处理不久,看了一些图像去噪,复原之类的文章,看的有些不明所以,所以就想问一下,有没有大神可以浅显的回答一下图像去噪,图像去模糊,图…
关注者
406
被浏览
464,355

21 个回答

从深度学习的角度看没有任何区别, 他们的解决方案是一样的.

换句话说, 这些问题能由一个统一的深度学习模型来描述.

这个方向有 RED30, Evolutionary-Autoencoders 等模型作为证明.


摄像噪点, 运动模糊, 有损压缩, 水印, 乃至低分辨率拉伸, 都可以看成有一张原始的高质量照片受到破坏的结果.

那么我们就希望卷积神经网络能够抽象出这种破坏, 并且逆向修复它们.

这个领域统称为: Image Restoration(IR)

RED 全称为 : Residual convolutional Encoder-Decoder networks

残差卷积编解码网络是 NIPS2016 时提出的, 实现难度适当.

计算简图如下所示:

左边7个是卷积编码器, 提取不同层次的特征信息, 然后把特征输入右边的反卷积解码器

同时输入的还有上一层传过来的残差, 把最终结果叠加到原始图片上去, 就完成了图片的修复.

从信息的缺失角度可以对这些任务的难度排序:

anti-jpeg/deblocking < super-resolution < denoising < debluring < inpainting

从 指标递减也可以发现这些任务难度的上升, 但这个难度划分并不绝对

  • 祖传绿图恢复比超分辨率二倍镜难
  • 超分辨率八倍镜也比后面的摄像降噪难, 接近高度模糊恢复的难度
  • 去马赛克超出三界之外, 不在五个分类之中

挑个你感兴趣的开始, 入门比较重要的还是找个合适的对手, 一上来就打 boss 铁定凉凉...


当然从特异化的角度来看, 对于不同的问题采用不同的方法更能有效地取得更好的结果.

统一框架就是万能, 缺点是笨重, 特异化专精且轻量, 缺点就是要自己研究一遍太累...

传统观点的话也是认为各有各的算法, 需要构造不同的算子来处理.

看了一圈答案也没什么到点上的,谈一些个人理解吧。这三者都属于底层视觉图像修复任务,也是将信息损失后的图像恢复到信息损失前的图像,都是逆任务,要了解图像修复,首先就要知道的是这些底层视觉任务的不同降质因素。


首先是去噪,噪声的来源早起一般单纯用高斯白噪声去建模,然而从相机内部分析,可以含有光子噪声shot noise,读取噪声read noise,热噪声terminal noise以及将连续信号转化为我们图像离散信号时quantisation noise。现在主流顶会论文的噪声建模一般是shot read noise合并的柏松-高斯分布噪声,可能会再加一些jpeg压缩噪声。图像去噪就是在一张noisy的图像上去掉这些噪声。


其次是超分,超分是把一张低分辨率LR图像复原到高分辨率SR图像,关于低分辨率图像的获取,早期和深度学习早年论文一般就是bicubic下采样获得,后面延伸为real-world超分问题其实就已经不止是分辨率的问题了,还会去在图像上添加noise并做模糊核的卷积(模糊核也可以分为相机抖动产生的blur kernel和各向同以及各向异的高斯kernel),相当于在图像分辨率提升的同时解决噪音和模糊问题。


图像复原其实是一个比较大的topic,我个人认为图像去雾/去雨/去模糊/去噪/超分/HDR重建/暗光增强等等都可以归到这里面,里面任何一个小方向都有很多人做,也都算计算摄影学和底层视觉的子任务。


最后提醒一点,底层视觉是顶会灌水的热点,要学习底层视觉,建议从本质了解,翻出去多看看计算摄影真大佬shree nayar或者Michael s Brown(这个主要是color)他们的课,还是要多学习底层视觉的根源,血泪教训。