神奇的图像修复大法，AI想象力的开启

2023年5月2日发(作者：防盗纱窗的款式图片)

神奇的图像修复⼤法，AI想象⼒的开启

技术前沿

作者：萝⼘兔

深度学习的爆发，让图像识别变得容易，同样，在图像修复上⾯也取得很多进展。AI对图像的修复，让我们看到了在学

习了⼤量数据后，AI似乎也可以产⽣对于图像的记忆和想象，将缺失的、模糊的、或者噪声严重的图像恢复“原貌”。

下⾯，我们⼀起来看看各种图像修复技术的进展。

⽆需⼲净样本，超强去噪

最近，英伟达、阿尔托⼤学以及⿇省理⼯⼤学⼀起提出了⼀种图像修复的新技术，该技术可以很好的去除图像中的噪声

和伪影，并且不需要⼲净的图像样本。该⼯作在2018年ICML会议上公布。

我们先来看看效果：

视频中展⽰了不同的图像噪声（包括⾼斯噪声、泊松噪声、Bernoulli noise噪声、脉冲噪声等），该神经⽹络通过学习

成对的噪声图⽚，完成的效果都不错。

算是⽬前该项⼯作中很优秀的存在了，⼀些细节的地⽅也处理得相当不错，他们把该项技术称为Noise2Noise。该团队

从ImageNet数据库获取了50000万张图⽚，对它们进⾏“增噪”处理。然后把这些“不⼲净”的图⽚输⼊模型中训练，让模

型学会“降噪”。

值得注意的是，该模型接⼿的图⽚全部都是增加了各种噪声的图⽚，完全不知道原图是什么样⼦的。研究⼈员表

⽰：“在没有⼲净图像的情况下，神经⽹络学习恢复图像是可能的。”于是他们使⽤配对的噪声图像，完成了这项⼯作。

研究⼈员希望将此项技术应⽤于含有⼤量噪声的图像，⽐如天体摄影、核磁共振成像（MRI）以及⼤脑扫描图像等。

使⽤来⾃IXI数据集近5000张图像来训练Noise2Noise的MRI图像去噪能⼒。在没有⼈⼯噪声的情况下，结果可能⽐原始

图像稍微模糊⼀些，但仍然很好地还原了清晰度。

论⽂链接：

AI脑补，修复缺失图像

关于图像缺失修复的算法也不少，先来看看来⾃整块图像缺失的修复算法，该算法来⾃南加州⼤学的⼯作。⾸先看实现

效果：

虽然看起来没有⾮常完美，但是作为⼀个PS⼩⽩，我来操作似乎也只能到这个⽔平了。

CNN⽹络结构

由上图可以看到，该⽹络其实是由两个神经⽹络组成，⼀个是内容⽣成⽹络，⼀个是纹理⽣成⽹络。内容⽣成⽹络⽣成

图像，推断缺失部分的内容。纹理⽣成⽹络⽤于增强内容⽹络产出的纹理，具体来说就是将⽣成的补全图像和原始⽆缺

失图像输⼊纹理⽣成⽹络，在某⼀层feature_map上计算损失，记为Loss NN。

内容⽣成⽹络结构

纹理⽣成⽹络Loss NN

具体技术细节参考论⽂：

另外，除了整块图像缺失的修复，还有不规则图像的修复，⽽这项⼯作同样来⾃于英伟达。今年5⽉，英伟达Guilin Liu

领导的研发团队发布了⼀种深度学习算法，可以编辑图像复原那些有像素有缺失的图像。

该算法还可以删除图像部分内容再进⾏填充，⽅便快捷的实现抠图，不得不说这将是⼩编们爱不释⼿的神器。

训练该⽹络，他们⾸先⽣成了55116个具有随机纹理和任意形状、⼤⼩的马赛克作为训练集。25000个马赛克图形作为

测试数据集。并根据马赛克图像的相对⼤⼩将图像分为了六类。

研究⼈员通过将⽣成的马赛克图案覆盖在 ImageNet，Places2 和 CelebA-HQ 数据集的图像上，使⽤ NVIDIA Tesla

V100 GPU 和经过 cuDNN 加速的 PyTorch 深度学习框架来训练神经⽹络。

在训练阶段，将空⽩或缺失部分引⼊上述数据集完整的训练集中，使神经⽹络能够学习复原缺失的像素。在测试阶段，

将与训练阶段不同形状的马赛克图案应⽤于测试集的图像中，从⽽提⾼复原精度的范化能⼒。

为了解决颜⾊偏差和模糊伪信息的问题，研究团队提出了⼀种⽅法——使⽤“部分卷积”层，根据其感受野的有效性对每

个输出进⾏重新归⼀化 。这种重新归⼀化的⽅法可确保输出值与每个感受野中受损像素的值相互独⽴⽆关。该模型由

UNet架构实现的部分卷积功能。使⽤⼀组损失函数来训练模型，匹配VGG模型的特征损失和风格损失以产⽣逼真的输

出。

实现细节参照论⽂：

马赛克还原术

这是去年由Google Brain发布的⼀个名为Pixel Recursive Super Resolution的AI系统，能提⾼像素乱化处理后的照⽚分

辨率，也就是能够清除马赛克。

左边：马赛克版本 中间：GoogleAI还原版本 右边：原图

可以看出，虽然我们仔细观察还是可以发现，AI想像出来的和实际的图像有⼀定的差别，但相似度还是蛮⾼。我想，很

少有⼈类能够做到从这乱七⼋糟的马赛克中想像出美⼥的脸来.....

该系统主要由两个部分组成，⼀是调节⽹络（conditioning network），是⼀个CNN模型，通过向系统展⽰海量⼈物⾯

部照⽚来进⾏训练，让模型记忆学习到的具有代表性的⾯部特征。另⼀个是优先⽹络（prior network），是⼀个

PixelCNN，让系统基于之前的训练，猜测哪些细节可以作为⾼分辨率照⽚的特征，并根据概率优先原则，从所有可能

的原图中找到最有可能匹配的细节，对⾼分辨率照⽚进⾏填充。

该系统“还原”⼈脸照⽚的混效率是10%，“还原”场景图表现更好，可以达到28%。

技术细节参照：

众多的图像修复技术中，萝⼘兔觉得去噪技术是最为实⽤的。它可以将我们夜晚拍摄的照⽚中的噪点去除，实现更加⾼

清的夜间摄影，⽽且对夜间各处治安录像的清晰度还原也有很⼤帮助；在医学上可以解决核磁共振图像以及天⽂、地理

等噪点图像的处理，这些都是⾮常好的落地应⽤。

参考链接：

欢迎关注微信公众号”极验“，还可以添加技术助理微信geetest1024，与作者共同探讨问题~