基于无监督学习的图像风格迁移方法

近年来,深度学习作为机器学习领域的一个分支,已经展现出强大的能力,其中基于卷积神经网络的无监督学习更是逐渐流行,之前有很多关于图像到图像翻译的工作,但都需要成对输入图片数据,这无疑增加了训练数据集获取的难度。笔者旨在实现在缺少成对数据的情况下使用生成对抗网络GAN学习从源数据域Y到目标数据域Y以实现图像到图像的翻译和风格迁移,通过学习映射G:X→Y和一个相反的映射F:Y→X,使它们成对,同时加入一个循环一致性损失函数,以确保F(G(X))≈X(反之亦然),最终实现通过输入一张具有任意风格的源图片进入网络并生成指定风格的图像,实现风格迁移。在缺少成对训练数据的情况下,本文成功实现了horse2zebra数据集和vangogh2photo数据集的风格迁移。