2023年7月14日，国际计算机视觉会议（ICCV， International Conference on Computer Vision 2023）官方公布论文收录结果，我院图像信息研究所任超副研究员直接指导的两位同学在真实图像无监督去噪和自监督去噪领域的两项研究成果被接收。ICCV是计算机视觉和模式识别领域的顶级学术会议，是中国计算机学会A类推荐会议。
任超老师直接指导的二年级本科生林鑫以第一作者身份在该会议发表题为“Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches”的论文，任超老师为通讯作者。该同学也是本院首位在CV三大顶级会议上发表文章的本科生。该论文提出了一种基于自协作并行生成对抗的无监督去噪框架，能够大幅度提升去噪性能。此外，任超老师直接指导的硕士生潘艺中以第一作者身份在该会议发表题为“Random Sub-Samples Generation for Self-Supervised Real Image Denoising”的论文，任超老师为通讯作者。该论文提出了一种使用随机子样本生成策略的自监督真实图像去噪方法，将采样差异作为扰动，以此实现训练数据集的增广，并提升网络的去噪性能。
论文1：Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches
背景：深度学习方法在图像去噪方面表现出色，尤其是在大规模配对数据集上进行训练时。然而，在现实世界中获取此类配对数据集是一项重大挑战。尽管基于生成式对抗网络（GAN）的无监督方法为无配对数据集的去噪提供了一种有前景的解决方案，但在不显著修改现有结构或增加去噪器计算复杂度的情况下，它们很难超越基于传统GAN的无监督框架的性能限制。为解决该问题，提出了多去噪器的自协作（SC）策略。该策略可在不增加基于GAN的去噪框架的推理复杂度的情况下显著提高性能。其基本思想是在滤波器引导的噪声提取模块中，用当前性能强大的去噪器迭代替换之前性能较弱的去噪器。该过程能够生成更好的合成的“干净-噪声”图像对，从而为下一次迭代提供更强大的去噪器。此外，还提出了一种基线方法，该方法包括具有互补“自合成”和“非配对合成”约束的并行生成对抗分支。该基线确保了训练网络的稳定性和有效性。实验结果表明，提出的方法优于其他先进的无监督去噪方法。
创新：一方面，本论文设计了一种新颖的滤波引导的合成噪声图像生成器和噪声提取（NE）模块，以合成高质量的“干净-噪声”图像对，作为实现SC策略的基础；另一方面，本论文提出了一种有效的并行生成对抗分支框架作为强大的基准，该框架具有互补的“自合成”和“非配对合成”约束；再者，本论文首次提出了SC策略，该策略在不增加推理复杂度的情况下显著提高了基于GAN的去噪框架的性能。实验结果表明，在SIDD和DND基准数据集上，提出的SCPGabNet优于先进的无监督图像去噪方法。
方法：1. 基于滤波引导的噪声生成器：如图1所示，由于不同图像内容的影响，合成高质量的真实噪声图像具有很强的挑战性。为了缓解这一困难，本文为GAN模型提出了一种新颖的滤波引导合成噪声图像生成器G，它能更好地捕捉噪声信息。由于直接学习噪声分布比较困难，本文并不直接向G输入噪声图像和干净图像，而是使用NE模块来获取噪声。具体来说，使用一个名为DN0的可学习卷积块进行去噪，然后通过从原始噪声图像中减去去噪图像来获得噪声。这种方法降低了生成器的学习难度，促使其更加专注于合成高质量的噪声图像，从而提高整体去噪性能。
图1. 基于滤波引导的噪声生成器
2. PGabNet：图2所示为提出的完整的无监督去噪框架SPGabNet，其由基准网络PGabNet结合SC策略组成。其中，PGabNet由两个分支组成，每个分支分别实现互补的“自合成”和“非配对合成”约束。分支1采用“自合成-非配对合成”架构，分支2采用“非配对合成-自合成”架构。具体来说，分支1生成自合成噪声图像ys-syn和非配对合成噪声图像yu-syn，而分支2生成非配对合成噪声图像xu-syn和自合成噪声图像xs-syn。在PGabNet的每个分支中，“自合成”约束和“非配对合成”约束是强互补的。此外，这两个分支之间的“自合成”约束和 “非配对合成”约束也是互补的。
图2. SPGabNet
3. SC策略：图3所示为SC策略。该结构由噪声提取模块（NE）和去噪器（DN）组成。如前几小节所述，NE模块从噪声图像中提取噪声，并引导生成器生成高质量的合成噪声图像。为了训练PGabNet，首先在NE模块中使用一个简单且可学习的线性卷积层作为DN0。然后，对去噪器进行迭代替换和增强，k表示迭代次数。在每次迭代过程中，当前更强的去噪器DN替换NE模块中先前较弱的去噪器DN0，从而显著提高更新后去噪器的性能。通过对NE模块内外的去噪器采用SC策略，可以得到更好的DN0，从而可以提取更准确的噪声。这将产生更真实的合成噪声对，并通过更高质量的合成样本迭代提高更新DN的性能。令人兴奋的是，本文观察到使用SC策略的DN性能比不使用SC策略的原始DN性能有了显著提高。
图3. SC策略
具体实验结果详见原文。
总结：该文章在图像无监督去噪领域首次提出自协作策略，取得了优越的性能并验证了其泛化性。
论文2：Random Sub-Samples Generation for Self-Supervised Real Image Denoising
背景：目前，基于深度学习的去噪网络在图像去噪方面取得了良好的成果，尤其是基于“噪声-干净”配对图像数据集的方法。现实中，由于缺乏对无噪声图像的配对，无监督方法在实际应用中仍然非常具有挑战性。为了解决这一问题，论文提出了一种将采样差异作为扰动(SDAP)的新型自监督真实图像去噪框架。具体来说，本文工作发现在训练图像中加入适当的扰动可以有效地提高盲点网络（BSN）的性能。基于此，论文进一步提出可以将采样差异视为扰动，以获得更好的结果。最后，论文基于循环样本差异损失与随机子样本生成(RSG)策略，提出了面向真实图像去噪的新自监督BSN框架。结果表明，该方法在真实数据集上显著优于其他先进的自监督去噪方法。
创新：一方面论文深入挖掘了盲点去噪网络BSN的特性，在原始数据集中增加适当的噪声扰动，有效提升了BSN的性能，以此为基础论文提出了随机子样本生成（RSG）策略，扩充了训练数据集，解决了自监督中训练集匮乏的问题；另一方面，论文提出了一种新的循环训练框架并设计了一种全新的循环采样差异损失函数来充分利用RSG策略生成的子样本；在测试阶段增加PD采样策略来稳定测试结果，使得网络拥有更好的去噪性能。结果表明，论文提出的自监督去噪模型在SIDD和DND基准数据集上显著优于其他先进的自监督去噪方法。
方法：1.随机子样本生成策略：如图1所示，假设噪声图像y的高度和宽度分别为H和W，RSG策略的详细实施过程如下：1）分割：图像y被划分为HW/s^2个大小为sÍs的非重叠块。然后，将这些块拉伸成为长度为s^2的向量。2）打乱：随机打乱每个向量中的元素。由于这个过程是严格随机的，所以每次获得的子样本都不同。3）重组：取每个向量相同位置的元素，形成s^2个长度为HW/s^2的新向量。4）复原：将每个向量重新形成变为大小为[W/s] Í [H/s]的子样本。通过这种方式可获得s^2个相似的子样本RSG_1(y), RSG_2(y),…, RSG_s^2(y)，极大地扩充了训练数据集，为自监督网络提供足够的训练样本。
图1 RSG的具体流程
2. 采用循环策略的训练框架：如图2所示，论文通过RSG策略用一张带噪图像获得了s^2个可供训练的子样本。在训练中，论文将RSG_i(y)和RSG_(i+1)(y)之间的差异视为扰动，并将它们分别视为BSN的输入和目标，构建了一种新的采样差异损失函数。不同于常规训练BSN的方法对每张图的每次训练只需要两个子样本，论文通过循环策略将使用生成的全部s^2个子样本。由于RSG策略得到的子样本是随机生成的，因此训练数据也是随机的。损失函数中每个输入对应的目标都不同，因此避免了两个子样本在循环期间形成固定的映射。这种循环损失具有以下优点：a.对原始噪声图像的全部像素施加了约束；b.确保RSG生成的所有子样本都能达到充分利用；c.使得BSN的训练更加具有鲁棒性。
图2 采用循环策略的训练框架
3.测试以及效果增强：如图3所示，论文使用RSG策略生成的随机子样本避免了去噪网络形成固定映射，但是其随机性也不可避免地导致去噪网络在测试阶段性能的下降。由于像素重组下采样（PD）子样本的每个点在原始图像中具有固定的位置，因此它具有固定的偏移方向，其随机性相比本论文提出的RSG策略较小，因此在测试阶段使用PD采样模式来稳定测试结果。最后，本论文通过BSN对去噪后的图像进行二次去噪，以去除不平滑的伪影使得图像更加自然。
图3 测试以及效果增强
具体实验结果详见原文。
总结：该文章在图像自监督领域内，提出将采样差异作为扰动的自监督去噪网络，取得了优越的去噪性能。
