【深度学习】Navigating the GAN Parameter Space for Semantic Image Editing

Posted by ShawnD on March 20, 2021

Abstract

生成对抗网络(GANs)当前是用于视觉编辑的必不可少的工具,它是图像到图像翻译和图像恢复流程的标准组件。此外,GAN对于可控生成特别有用,因为它们的隐空间包含范围广泛的可解释方向,非常适合于语义编辑操作。通过沿这些方向逐渐更改隐编码,可以产生令人印象深刻的视觉效果,而没有GAN则无法实现。

在本文中,我们极大地扩展了使用StyleGAN2等最新模型可以实现的视觉效果范围。与大多数由隐编码操作的现有作品相比,我们 在生成器参数的空间中发现了可解释的方向。通过几种简单的方法,我们探索了这个空间,并证明了它还包含许多可解释的方向,这是非平凡语义处理的极好来源。我们提出的操控不是通过转换隐编码来实现, 而且可以同时在生成图像和真实图像上进行编辑。 我们发布了代码和模型,并希望它们将作为方便的工具,为基于GAN的图像编辑做进一步的努力。