Content and Gradient Model-driven Deep Network for Single Image Reflection Removal

Ya-Nan Zhang Linlin Shen Qiufu Li

Shenzhen University

导读

论文Content and Gradient Model-driven Deep Network for Single Image Reflection Removal发表在多媒体顶级会议ACM MM 2022上，由深圳大学计算机与软件学院计算机视觉所完成。该工作针对单图像反射移除任务提出了一个内容和梯度引导的深度展开网络。该方法结合了模型驱动和数据驱动的优点，不仅能够保持较好的反射移除性能，而且具备良好的可解释性。

引言

当通过玻璃拍摄图像时，目标图像上会呈现出不希望得到的反射图像。这些反射会严重退化图像质量，并且影响后续的高级视觉应用，诸如：分类，分割，跟踪，检测等等[1][2]。近年来，研究者们提出了大量基于深度学习的方法来处理单图像反射移除任务[3][4][5]。然而，这些方法不仅缺乏可解释性，而且没有充分利用反射图像的内在物理结构[6][7][8]。本文提出了一种基于内容和梯度引导的单图像反射移除深度网络，它是一个充分可解释的模型驱动网络。首先，利用多尺度卷积字典，设计了一个结合图像内容先验和梯度先验信息的单图像反射移除模型;然后，利用近端梯度优化算法对模型进行优化，并将其展开为深度网络形式。此外，该方法引入了反射检测模块，以获得一个概率置信图，确保网络对反射区域的关注。

技术贡献

本工作主要贡献如下：

• 通过结合图像内容信息和梯度信息来约束单图像反射移除问题的解空间，并提出了图像内容和梯度引导的单图像反射移除模型。
• 引入了一个多尺度卷积字典对反射图像的形状、大小和多尺度信息进行编码。
• 提出了一个概率置信图去更好地区分反射区域和目标区域。
• 通过将深度展开技术融入提出的算法，设计了一个新的深度网络结构。网络的每一层与优化过程的每一次迭代一一对应。因此，该网络是可解释的。

方法介绍

本文主要目的是结合数据驱动和模型驱动的优点。该方法主要包括三个步骤：第一步是建立单图像反射移除模型，第二步是利用近端梯度算法对提出模型进行优化，第三步是将优化过程展开成网络形式。

1. 建立单图像反射移除模型

给定一个目标输入图像I，单图像反射移除任务旨在分解输入图像I 进入一个传输图像T和一个反射图像R。然后，我们引入变量U来表示反射区域。同时，一个折射系数图O被提出去恢复传输图像。而且，由于传输图像的梯度和反射图像的梯度遵循不同的分布，因此，我们利用T和R 的梯度先验去限制模型的解空间。受卷积字典学习的鼓舞，我们提出了一个多尺度卷积字典去得到反射图像的多尺度信息。最终的单图像反射移除模型定义如下:

2. 优化算法

本文使用近端梯度下降算法[9]去最小化目标函数（1）。

3. 网络框架

我们将迭代算法展开为一个神经网络，并使用ResNet从训练数据中学习知识。这种方法不仅省去了之前的设计过程，而且提高了算法的泛化性能。通过逐步展开迭代过程来设计网络架构，如图1和图2所示。图1的最上面一行显示了具有k+1阶段的网络架构，每个阶段包括四个模块，它们以带反射的图像作为输入，输出传输图像和反射图像。图1的第二行展示了四个模块在每个阶段的更新过程，即反射模块(R-net)、反射系数模块(U-net)、传输模块(T-net)和折射系数模块(O-net)。图2展示了四个模块。

结果展示

如图3所示，我们的方法在移除更多的反射图像的同时可以恢复更多的传输图像细节。

总结展望

本文针对单图像反射移除任务，提出了一种新的模型驱动深度展开网络，该网络将优化算法的迭代步骤展开到网络层中。我们将图像固有的内容先验、梯度先验和多尺度卷积字典集成到深度神经网络中。此外，我们的所有模块都有特定的物理含义。因此，提出的方法不仅具有良好的可解释性，而且获得了很好的泛化性。基于无监督或半监督的单图像反射移除也是目前亟待解决的问题，我们的方法在这些问题也可以进一步改进。

思考讨论

Q: 如何判断文章中提出的模块或者先验信息是对该方法有效的？如何进行该方法的消融实验。A: 我们的消融实验与深度学习方法的不同之处在于：我们的方法消融是对建立的单图像反射移除目标函数移除相应的先验，然后建立新的目标函数，再对新建立的目标函数进行优化，最后将优化步骤展开成相应的网络与提出的方法进行消融对比。以下是开放型问题，欢迎各位读者交流讨论：Q: 目前深度展开算法主要应用于具有成对图像数据集的全监督任务，如何将该方法应用到无监督或半监督图像恢复任务中？

参考文献

[1]Badrinarayanan V, Kendall A, Cipolla R. Segnet: A deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE transactions on pattern analysis and machine intelligence, 2017, 39(12): 2481-2495.[2]Farenzena M, Bazzani L, Perina A, et al. Person re-identification by symmetry-driven accumulation of local features[C]//2010 IEEE computer society conference on computer vision and pattern recognition. IEEE, 2010: 2360-2367.[3]Li C, Yang Y, He K, et al. Single image reflection removal through cascaded refinement[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 3565-3574.[4]Chang Y C, Lu C N, Cheng C C, et al. Single image reflection removal with edge guidance, reflection classifier, and recurrent decomposition[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2021: 2033-2042.[5]Dong Z, Xu K, Yang Y, et al. Location-aware single image reflection removal[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 5017-5026.[6]Wang H, Xie Q, Zhao Q, et al. A model-driven deep neural network for single image rain removal[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 3103-3112.[7]Dong W, Wang P, Yin W, et al. Denoising prior driven deep neural network for image restoration[J]. IEEE transactions on pattern analysis and machine intelligence, 2018, 41(10): 2305-2318.[8]Zhang Z, Liu Y, Liu J, et al. AMP-Net: Denoising-based deep unfolding for compressive image sensing[J]. IEEE Transactions on Image Processing, 2020, 30: 1487-1500.[9]Beck A, Teboulle M. A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J]. SIAM journal on imaging sciences, 2009, 2(1): 183-202.