人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性

人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性(特约点评:对抗网络风格转换大型多领域艺术图像中学习图像内在属性对于生成逼真的风格有很大意义,这个创新点必须推荐。来自网友大鹏的推荐!)

人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性简介:图像风格转移是一项旨在以一种图像的内容呈现另一种图像的内容的任务,这对于实际和科学原因而言是重要和有趣的。样式转换技术可广泛应用于图像处理应用中,如移动照相机滤镜和艺术图像生成。此外,风格转移的研究往往揭示了图像的内在属性。风格转换具有挑战性,因为很难明确分离和表示图像的内容和风格。

在Gatys等人的开创性工作中。 [12],作者用预先训练好的神经网络提取深度特征的内容,用深度特征的二阶统计量(即克拉矩阵)表示风格。他们提出了一个优化框架,其目标是生成的图像具有与给定内容图像相似的深度特征,以及给定样式图像的类似二阶统计量。生成的结果在视觉上令人印象深刻,但优化框架对于实时应用来说太慢了。后来的作品[25,48]培养了一个前馈网络来取代快速程序化的优化框架,其损失类似于Gatys等人。 [12]。但是,他们需要为每个样式图像训练一个网络,并且不能概括为看不见的图像。更近的方法[19,31]针对看不见的内容和样式图像处理任意样式的转换,这仍然代表具有深度特征的二阶统计的样式。样式表示的二阶统计最初是为纹理设计的[11],样式转移被认为是以前方法中的纹理转移。

另一种研究将风格转换视为条件图像生成,并应用对抗性网络来训练图像到图像翻译网络。训练的图像平移网络可以将图像从一个域转移到另一个域,例如从自然图像转换为草图。但是,由于输入图像来自多个域,因此它们不能应用于任意样式转换。

人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性贡献:在本文中,我们通过对任意样式转换的单一前馈网络进行对抗训练,结合两全其美。我们引入了多种技术来解决多领域数据中存在的对抗性培训挑战性问题。在对抗训练中,发生器(程式化网络)和鉴别器交替更新。我们的发生器和鉴别器都是有条件的网络。该生成器被训练为欺骗鉴别器,并且满足输入的内容和样式表示相似性。我们的生成器建立在用于abitrary style transfer [19]的最先进的网络上,该网络以内容图像和样式图像为条件,并使用自适应实例规范化(AdaIN)来组合两个输入。 AdaIN将内容图像的深度特征的均值和方差转换为与风格图像的深度特征匹配。我们的鉴别器以粗糙的领域类别为条件,其被训练成将生成的图像与来自相同样式类别的真实图像区分开。

与以前的任意样式转换方法相比,我们的方法使用鉴别器来学习纹理的二阶表示以外的样式的数据驱动表示。我们的生成器的综合损失考虑了来自风格损失的实例级信息以及来自敌对培训的类别级信息。与以前的敌对训练方法相比,我们的方法通过使用为任意样式传输而设计的条件发生器和条件鉴别器来处理多域输入。此外,我们提出了一个遮罩模块,通过预测遮罩来自动控制风格化程度,以混合风格化特征和内容特征。最后,我们选择训练出的鉴别器以对每个样式类别中的代表性生成的图像进行排序和查找。

人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性提出的方法:我们使用编码器 - 解码器架构作为我们的转换网络,并使用预先训练的VGG网络[44]的卷积层作为我们的编码器来提取深度特征。 我们添加跳过连接并连接来自不同级别卷积层的特征作为编码器的输出特征。 我们采用自适应实例规范化(AdaIN)[19]来调整深度特征的一阶和二阶统计量。 此外,我们生成空间蒙版以自动调整程式化级别。 我们的转换网络是一个有条件的发生器,它受到最先进的任意样式转换网络的启发。 我们的网络以内容表示的感知损失,[12,25,46]中的风格表示的格兰姆损失以及捕捉来自风格类别的纹理之外的常见风格信息的对抗性损失为训练。 我们在图1中显示了建议的网络,并在以下各节中提供了详细信息。

人工智能对抗网络风格转换大型多领域艺术图像中学习图像内在属性结论:我们提出了一个前馈网络,使用对抗训练来提高任意样式传输的性能。我们使用条件生成器和条件鉴别器来处理多域输入和输出。我们的生成器受到任意样式转换方面的最新进展的启发,我们的鉴别器受到最近在生成对抗网络中的进展的启发。我们的方法结合了两全其美。我们提出了一个面具模块,可以帮助进行对抗训练和风格转移。此外,我们表明,我们训练的鉴别器可以用来选择具有代表性的程式化图像,这是一个长期存在的问题。以前的样式转换和基于GAN的图像转换方法只针对一个领域,例如转换油画风格,或从自然图像转换为草图。我们系统地研究了不同艺术图像的大规模数据集上的样式转换问题。我们可以训练一个网络来生成不同风格的图像,如漫画,石墨,油画,水彩和矢量图。我们的方法产生比以前的风格转移方法更具视觉吸引力的结果,但仍有改进的空间。例如,使用任意样式传输网络将图像传输到3D图形仍然具有挑战性。

发表评论
留言与评论(共有 0 条评论)
   
验证码:

相关文章

推荐文章

'); })();