本篇文章2241字,读完约6分钟

中文标题: github趋势排行榜第一:用姐姐自拍,生成二维萌妹子,表情高度复原,反之亦然”

你怎么能把小姐姐当你的?

让她成为二次元的人,就能解除妻子的锁定。

韩国游戏公司ncsoft最近开发了开源熟练的ai。

只要随便输入姐姐的自拍,就能得到她的二维身影。

对于原图,姐姐还是像那个姐姐一样。

一个眼神,一个周围的笑声,都是三维时的样子不变。

当然,如果你有喜欢的二次元妻子,想看看她穿越到现实中的样子,没问题。 只需输入一张她的头像。

生了一个逼真的姐姐。

这个算法被称为u-gat-it,名字也令人向往。 重要的是,它是以不受监视的方式训练的,不需要联系到正确的数据。

目前,团队在github上部署了tensorflow和pytorch实现。 两个项目都登上了趋势排行榜,tf项目一次达到第一名。

吃之前,看看什么样的ai能给你这么丰富的福利。

这个gan的观察力和其他不同

u-gat-it是由两个gan组成的图到图的翻译算法。

一只gan必须把妹妹的自拍变成二维姐姐。 这是从源行业到目标行业的翻译。

另一只gan把二维姐姐又变回三维自拍。 这是从目标行业到源行业的翻译。

这样,有两个生成器&;判别器的组合。

生成器是真实的假图,负责生成欺诈判别器的判别器有责任识破假图。 互相成长。

为了生成更真实的图像,团队对这两个部件施加了不同的观察力。

具体做法受到周博磊团队年cam研究的启发。

cam是类激活图的缩写。 在评价图像真伪方面可以找到最重要的区域,ai可以把观察力集中在那里。

但是,在上采样部分,cam使用了全球平均池化。 u-gat-it为了取得更好的效果,将全球平均池化和最大池化结合起来。

在这里,以使用第一个gan生成二维姐姐的gan为例。 先看判别器:

要评估图像,它是否与数据集的二维妹妹属于同一类别。 如果不是同类的话就判定为发电机的作品。

判别器有cam (辅助分类器),在类别评价中找到更重要的区域。

这也诱惑生成器,把观察力集中在重要领域。

查看生成器:

其辅助分类器找出属于三维妹子的重要区域。 然后,对照两个行业的重要领域,观察力模块就可以知道生成器的观察力应该集中在哪里。

第二只gan只是生成方向相反,道理也一样。

为了结合两个gan,损失函数也被精心设计

损失函数有四个部分

一是对抗损失,不要解释太多,所有的gan都有。

二是循环损失,为了找到有生成器和判别器的平衡,互相和解,不停滞。

生成器受“循环一致性”( cycle consistency )约束,以保证为目标行业生成的图像,并返回到源行业接受。

三是身份损失,为了保证输入图像和输出图像的颜色分布相似,给了生成器身份一致性的制约。

具体来说,如果从目标行业选择图像,从源行业向目标行业进行翻译,应该不会发生任何变化。

第四是cam的损失,提供了图的激活图,生成器和判别器知道它们需要提升哪里。 或者,我知道两个行业之间现在最大的区别在哪里。

除此之外,u-gat-it还有另一项重要贡献。

adalin选项的规范化方法

通常,实例化( in )是比较常见的方法,可以通过直接对图像的特征统计进行归一化来消除风格变化( style variation )。

与此相对,批量正规化( bn )和层正规化( ln** )不太常用。

标准化图像时,适应性in、简称adain越来越多。

但是在这里,团队提出了可以在in和ln之间动态选择的adalin。

有了它,ai能有多灵活地控制形状和质感的变化。

基于以前观察力的模型无法适应不同行业之间的几何变化。

但是,u-gat-it既可以是需要整体变化( holistic changes )的翻译,也可以是需要大幅度形状变化( large shape changes.)的翻译。

最后谈谈数据集吧。

没有监督,不成对

selfie2anime,有两个数据集。

一个是自拍数据集,一个是二维数据集,都只选了妹妹。

分别是训练集3400张,测试集100张。 没有一对。

其实不仅如此,还训练了马变成斑马、猫变成狗、照片变成梵高等各种功能。

让我们看看成果

远远胜过前辈

u-gat-it (b )与多个厉害的前辈相比,它们:

cyclegan (c )、unit (d )、munit (e )和drit (f )。

第四行是照片变成肖像画的作品。 第五行是改变梵高的画风

逆生成,例如二维成为三维,斑马成为马等,都是:

( b )列为本论文的主角,在跨维度的任务中,明显优于各路的前辈。 在其他任务中,生成效果总体上也超过前辈。

然后,看看观察力模块( cam )是否起作用。

右边的两排,区别很明显。 ( e )有观察力,( f )没有观察力:

最后,请注意可以动态选择规范化方法的adalin。 比无法选择效果怎么样?

( b )是adalin,右侧的4列是陪同的正规化方法(以及各种正规化的结合) :

adalin的生成结果更完美,瑕疵少。

从各个角度来看,u-gat-it已经成功了。

心里热了,来收开源代码吧。

这是tensorflow版本,曾获得趋势排行榜的第一名(现在排名第三)。

github/taki0112/ugatit

这是pytorch版本。

github/znxlwm/ugatit-pytorch

这是论文:

arxiv/abs/1907.10830

复制完毕

编纂。

看着

阅读原文。

来源:济南日报

标题:热门:用小姐姐自拍,生成二次元萌妹子,反过来也可以

地址:http://www.jy2z.com/jnxw/19055.html