扩散模型（DM）通过将图像综合过程建模为去噪网络的连续应用，实现了SOTA性能。然而，与从头生成每个像素的图像综合不同，大多数图像恢复（IR）像素是已知的。因此，对于IR，传统的DM在大型模型上运行大量迭代以估计整个图像或特征映射是低效的。为了解决这个问题，我们提出了一种高效的IR DM（DiffIR），它由紧凑的IR先验提取网络（CPEN）、动态IR变换器（DIRformer）和去噪网络组成。具体而言，DiffIR有两个训练阶段：预训练和训练DM。在预训练中，我们将真实图像输入到CPEN$_{S1}$中，以捕获紧凑的IR先验表示（IPR），以指导DIRformer。在第二个阶段中，我们训练DM直接估计与预训练CPEN$_{S1}$相同的IRP，仅使用LQ图像。我们观察到，由于IPR只是一个紧凑的向量，DiffIR可以使用比传统DM更少的迭代来获得准确的估计并生成更稳定和逼真的结果。由于迭代较少，我们的DiffIR可以采用CPEN$_{S2}$、DIRformer和去噪网络的联合优化，进一步减少估计误差的影响。我们在几个IR任务上进行了广泛的实验，并实现了SOTA性能，同时消耗较少的计算成本。
论文链接：http://arxiv.org/pdf/2303.09472v1
更多计算机论文：http://cspaper.cn/