我院任超副研究员指导的2021级本科生林鑫关于无监督图像复原研究成果,已被人工智能领域国际顶级期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》(TPAMI,近五年IF 20.4)接收。(论文信息:"Re-boosting Self-Collaboration Parallel Prompt GAN for Unsupervised Image Restoration", DOI: 10.1109/TPAMI.2025.3589606;代码链接:https://github.com/linxin0/RSCP2GAN)
背景:现有图像复原方法大多需要大规模的干净/退化图像对进行有监督训练,难以适应配对数据缺乏且退化分布复杂的真实场景。基于生成对抗网络(GAN)的无监督复原方法提供了一种无需配对数据的方案,但目前这类方法的性能提升极大依赖于模型结构的显著修改或计算复杂度的显著增加,且性能提升瓶颈明显。
贡献与创新:为解决前述难题,本工作提出一种具有普适性的重增强自协作策略(Reb-SC),在不增加推理计算复杂度的前提下显著提升基于GAN的图像复原框架的性能。具体地,首先通过引入“自合成”与“非配对合成”的互补约束,设计了一个并行提示生成对抗网络框架,能够同步实现伪配对数据的生成及复原,其作为稳健的无监督复原基线框架。然后提出重增强自协作训练策略(无需修改推理阶段),让生成的伪退化图像的逼真度在训练的迭代过程中大幅提升,进而实现无需依靠真实配对训练图像的高质量图像复原。实验结果表明,提出方法在多个复原任务上表现出优异的无监督学习能力。
方法:如图1所展示,为实现多样化伪退化图生成与高质量图像复原,RSCP²GAN设计了由提示学习模块(PL)、生成器(G)和复原器(Res)组成的双路并行网络结构。图2展示了所提出的Reb-SC,该方法仅在训练阶段增加少量计算复杂度,测试时无额外开销,同时增强了PL与Res的表现。
图1 重增强自协作并行提示生成对抗网络的框架
图2 重增强自协作机制的结构
结果:图3和图4、5验证了提出方法所生成的伪退化图像和复原图像的有效性。


图3 不同方法生成的伪退化图像(提出方法生成的退化图像更接近真实退化图像)
图4 SIDD数据集的去噪效果展示

图 5 CSD数据集的去雪效果展示