人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换（特约点评：人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换对于图像转换引入注意力机制，这个创新点趣说人工智能必须推荐。来自网友小星的推荐！）

人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换简介：图像到图像转换是将图像从源域映射到目标域的任务。应用包括图像着色[6]，图像超分辨率[7,8]，样式转换[9]，域适应[10]和数据增强[11]。许多方法要求将每个域的数据配对或保持一致，例如，将卫星图像转换为地形图时，这会限制应用程序，甚至可能无法用于某些域。无监督的方法，如DiscoGAN [3]和CycleGAN [1]，通过循环损失克服了这个问题，鼓励翻译后的域在映射回原始域时被忠实地重建。现有的算法将输入图像馈送到称为发生器的类似编码器 - 解码器的神经网络架构，该架构试图翻译图像。然后，该输出被馈送到鉴别器，该鉴别器试图分类输出图像是否确实已被翻译。在这些生成对抗网络（GAN）中，生成图像的质量随着生成器和鉴别器竞争达到由训练过程的极大极小损失表示的纳什均衡而改善[12]。

人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换贡献：但是，这些方法受限于系统不能仅仅关注特为了克服这个限制，我们建议尽量减少源域和目标域的数据生成分布的相关部分之间的差异。为此，我们从人类感知的注意机制[14]以及它们在机器学习中的成功应用中找到灵感[2,15]。我们在CycleGAN设置中为每个发生器添加一个关注网络。这些人员经过共同训练，可以为区域“认为”在源域和目标域之间最具区别性的区域制作注意图。然后，将这些映射应用到生成器的输入以将其约束到相关的图像区域。整个网络都是端对端培训，不需要额外的监督。我们定性和定量地表明，将注意力明确纳入图像翻译网络可以显着提高翻译图像的质量（见图1）。

人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换我们的方法：图像转换的目标是基于独立采样的数据实例XS和XT来估计从源图像域S到目标图像域T的映射FS→T，使得映射实例FS→T（XS）的分布匹配目标的概率分布PT。我们的创业 - （Zhou等人的CycleGAN方法[1]），该方法也学习了域逆FT→S以增强周期一致性：FT→S（FS→T（XS））≈XS。传输网络FS→T的训练需要一个鉴别器DT来尝试检测观测实例XT的翻译输出。对于循环控制一致性，逆映射FT→S和相应的鉴别器DS被同时训练。解决这个问题需要解决两个同样重要的任务：（1）定位要在每个图像中映射的区域;（2）将正确的映射应用到定位区域。我们通过添加两个关注网络AS和AT来实现这一点，它们通过最大化鉴别器出错的概率来选择要翻译的区域。我们表示AS：S Sa和AT：T Ta，其中Sa和Ta分别是从S和T引起的注意力图。每个关注图包含每个像素[0,1]估计。在将输入图像提供给发生器之前，我们使用元素方面的产品'Ⓢ'将学习过的蒙版应用于图像。这样，FS→T的输入（以前是s∈S）现在变为sⓈAS（s）。 AS和AT与发电机一起训练;图2显示了这个过程。今后，我们将只描述地图FS→T;类似地定义逆映射FT→S。

注意力引导发电机我们将输入图像s S输入到关注网络AS中，导致注意图sa = AS（s）。要创建“前景”对象sf，我们通过每个RGB通道上的基于元素的产品将sa应用于s：sf = saⓈs（图2显示了一个示例）。然后，前景sf被送入发生器FS→T，它将sf映射到目标域T.为了抑制由FS→T引入的感兴趣区域外部的任何虚假内容，我们再次将注意图sa应用于其输出（图2示出这些内容的示例）。最后，我们创建'背景'图像sb =（1-sa）Ⓢs，并将其添加到发电机FS→T的屏蔽输出中。因此，映射图像sr通过以下获得：注意地图直觉。注意网络AS在等式1中起关键作用。如果注意图sa被全部替换，为了将整个图像标记为相关，则我们获得CycleGAN作为我们方法的一个特例。如果sa全部为零，则由于方程式1中的背景项，生成的图像将与输入图像相同，并且鉴别器将永远不会被发生器愚弄。如果sa参加没有相关实例翻译的图像区域，那么结果sr将保留其源域类（即马将保持马）。换句话说，图像中最具区分性的部分将保持不变，这使得鉴别器DT可以直接检测到。因此，找到发电机FS T，注意图AS和鉴别器DT之间的平衡的唯一方法是使AS集中在相应鉴别器认为是其域内最具描述性的对象或区域。使GAN发生器产生逼真图像的机制也使我们的注意力网络能够在图像中找到区分对象。该地图在[0,1]之间是连续的，即，它是一个遮罩而不是分段遮罩。这是有价值的，原因有三：（1）它使得关注地图的估计具有可区分性，因此能够进行训练;（2）它允许网络在训练过程中不确定注意力，这允许收敛;以及）它允许网络学习如何组合边缘，否则可能会使前景对象看起来“卡住”或产生边缘伪影。

人工智能CycleGAN加注意力机制图像转换实现最先进图像到图像转换结论：尽管最近的无监督图像到图像转换技术能够映射相关图像区域，但它们也无意中映射了不相关区域。通过这样做，生成的图像看起来不太现实，因为背景和前景通常没有适当地混合。通过将关注机制纳入无监督的图像到图像转换中，我们证明了生成图像质量的显着改进。我们简单的算法利用鉴别器来学习准确的关注图，而无需额外的监督。这表明我们的学习关注地图反映了鉴别者在决定图像是真实还是假的前提的位置，使其成为调查敌对网络行为的适当工具。

未来的工作。虽然我们的方法可以在存在多尺度对象和不同背景的情况下产生吸引人的翻译结果，但整体方法仍然不适用于塑造域之间的变化，例如，通过将马翻译成鸟类来制作飞马。我们的转移必须发生在图像中的参与区域内，但形状变化通常需要改变这些区域之外的部分。此外，我们持续关注的地图可以视为遮罩，因为恢复每像素阿尔法是解决遮罩问题的一部分。因此，我们的方法可能有助于翻译具有透明度和透明度的物体。