您当前的位置: 首页 >> 新闻动态 >> 投注密码-要没有StyleGAN2,真以为初代就是巅峰:英伟达人脸生成器超进化

投注密码-要没有StyleGAN2,真以为初代就是巅峰:英伟达人脸生成器超进化

来源:网络 日期 : 2020-01-11 10:15:44

投注密码-要没有StyleGAN2,真以为初代就是巅峰:英伟达人脸生成器超进化

投注密码,栗子 发自 凹非寺 量子位 报道 | 公众号 qbitai

今天之前,你大概会觉得,英伟达的stylegan已经是效果最震撼的gan吧。

它既能生成逼真的人脸:

也能生成可爱的老婆:

还有逼真的猫咪、卧室、汽车……投喂哪种数据集,就吐出哪种图像。

但英伟达并不过度骄傲,自stylegan发表以来,团队就一直研究它的弱点,然后想办法拯救。

现在,升级版stylegan2诞生了,它弥补了第一代的各种缺陷。

先举个例子。初代stylegan生成人像,周围总是出现水滴状不明物体:

如今,stylegan2生成的图像里,看不到奇怪的水滴了:

不要急着惊讶,这只是其中一处,stylegan2解锁的新技能还有不少。

更美好的是,英伟达已经把算法开源了。

所以,先来观察一下它到底是怎样进化的吧。

初代stylegan的第一个缺陷,就是刚刚提到的“水滴”。严重的时候,甚至会破人脸的完整:

论文说,水滴有时候很明显,有时候肉眼不易察觉,但如果从特征图 (feature map) 上看,其实问题一直都在:

想去除水滴,首先要知道它从哪里来,才好对症下药。

从生成64×64的图像开始就有了,分辨率越高,水滴现象就越严重。

团队起初对这种缺陷的存在感到费解,因为按常理说判别器应该能发现才对啊?

但很快,他们就把矛头指向了生成器的实例归一化 (instance normalization),上代stylegan用的方法是adain (自适应实例归一化) 。

因为,是这个部分负责把每张特征图的均值 (mean) 和方差 (variance) 分开归一化,很可能是这种做法破坏了特征信息。

于是一种假设诞生了:

水滴形成的原因是,生成器故意让信号强度信息 (signal strength) 绕过实例归一化,它会创建一个强大的局部化 (localized) 的信号峰,来支配统计数据,有效缩放信号强度。(欺上瞒下的骚套路啊。)

假设轻松得到了验证。只要把实例归一化拿掉,水滴就完全消失了。

但真的拿掉之后,又会导致每一种风格的效果累积起来 (cumulative) ,没办法保留在特定的尺度上,这样就很难控制gan的生成了。所以,团队重新设计了实例归一化的过程。

说到重新设计,就简单介绍一下初代stylegan。它的生成器是从风格迁移算法上借鉴而来,能在粗糙到精细的不同尺度上操控gan的生成,再把各种尺度的风格 (style) 结合起来:

初代stylegan的生成器,是在风格块里加了偏置 (bias) 和噪声 (noise) 。就如下图,(a)是整体架构,(b) 是细节:

团队发现,如果把偏置和噪音挪到风格块之外,直接加在已经归一化的数据上,就能得到更加可预测的结果。

(除此之外,这样改动过后,只要对标准差做归一化和调制就足够,不用再处理均值了。)

这也是重新设计的第一步,迈出这一步之后架构长这样:

在此基础之上,团队又走了第二步:

原本每个风格块由三部分组成,一是调制,二是卷积,三是归一化。

团队把归一化这个部分,用一个新的“解调 (demodulation) ”代替了。

此处隐去数学过程,只说中心思想:与原本的归一化相比,“解调”不是基于特征图的实际内容 ,而是基于假设 (assumptions/expected statistics) 。也就是说,比从前的操作更温和了。

修改完毕,变成了下图的样子。是调制后直接解调,把解调结果交给卷积:

实验也证明,新的实例归一化方法可以有效去除水滴现象。不论是在生成的图像上,还是在特征图上,都没有奇怪的斑点了:

从一张图到另一张图的变化过程中,也没有出现水滴:

与此同时,“解调”也让各个尺度的风格,保留在原本的尺度上。团队说,stylegan2在不同尺度风格的混合方面,比上一代更自如了:

(来源a和来源b,就是不同尺度的风格。)

这样,一个缺陷就补好了。

但还有下一个。

初代stylegan,用的是渐进式增大 (progressive growing) 的训练方法。

就是从4×4的图像开始生成,到8×8,到16×16,一步一步增大生成的分辨率,最终炼成1024×1024的高清图像生成技能。

这种方法能把gan的训练过程变得更加稳定,是从大前辈pg-gan那里沿用下来的。英伟达第一次以生成逼真人脸闻名于世,靠的就是pg-gan。

只不过,这种方法有一个明显的弱点,就是对牙齿、眼睛等等细节,有很强的位置偏好。也就是说,这些细节特征每移动到一个位置,都会在那里停留很久,才移去下一个位置:

这样一来,脸上各个部位的姿势很容易不匹配。

如果你没看出破绽,观察下面这张图吧。脸转了方向之后,牙齿没有及时跟着走,门牙一直朝着正前方:

这不科学。

团队用一种新的方法取代了渐进式增大。疗效显著,人脸转动的时候,牙齿的朝向也随着改变了:

原本stylegan的生成器和判别器都只用了简单的前馈设计,所以团队探索了更科学的结构。

他们借鉴了msg-gan的架构 (图a) ,这位前辈是把生成器和判别器的分辨率,用多个跳层连接 (skip connections) 匹配起来:

研究人员在这基础上做了简化,生成器用了上采样 (upsampling) 与求和 (summing) 来处理每一种分辨率下rgb输出的贡献 (图b上方) 。

判别器 (图b下方) 也是同理,利用了降采样 (downsampling) 。

然后,就是用残差连接 (residual connections) 进一步改造网络。不过,resnet里面两条路径相加会让信号的方差加倍,所以这里乘以1/√2来解决这个问题。

这一步很重要,因为在分类用的resnet上,这个问题通常会被批量归一化隐藏起来。

实验表明,跳层连接可以大大提升ppl,残差连接又对fid有利。

最终,团队最终选择了跳层生成器,以及残差判别器。

结果,得到了五官姿势同步变化的人脸:

论文提到,把生成器的工作“颠倒过来 (inverting) ”,也是个很有趣且很重要的课题。

也就是说,输入一张图,如果能够复现,就可以判断它是这只gan生成的。

这就需要把图片投射进潜在空间里,找到它对应的潜在向量,来复现这张图。

迭代1000次之后,得到图片和原图几乎无差的话,原图就是stylegan2生成的 (下图左) ;得到的图片和原图有明显差别的话,原图就不是stylegan2生成的 (下图右) :

虽然类似的操作从前也出现过,但团队提出了与前辈不同的方法,来找到复现需要的潜码 (latent code) :

不去扩展潜在空间,只在原本的潜在空间里找潜码,这样不会匹配到无关的图像,而是会对应到生成过的图像上;

给潜码加上了缓步下降的噪音,这样能更充分地挖掘潜在空间;

另外,还优化了stylegan2生成器的随机噪音,就是把它们正则化,避免携带相关信号。

科学家说,随着gan生成的图像越来越逼真,也就更需要检测一张图是不是gan生成的。

这当然是正经用途。但在算法开源之后,已经被小伙伴们玩坏了:

得到这些鬼畜的表情包,就是说史莱克和阿凡达,果然不是stylegan的作品啊。

既然代码已经放出来,你也要试着玩坏一下stylegan2吧。

不然就先看看论文,那里讲到的进化之处比本文要全面,看完之后你就会有更大胆的想法了。

论文传送门:https://arxiv.org/abs/1912.04958

代码传送门:https://github.com/nvlabs/stylegan2

— 完 —

量子位 qbitai · 头条号签约

关注我们,第一时间获知前沿科技动态

上一篇:9102年,逃过了包办婚姻,却死在了包办友谊

下一篇:打折促销增多楼市一夜入秋 房地产行业拐点已至?

月薪五千,女子花80万扮“中世纪贵妇”:一把蕾丝扇 49800 元
热门新闻
iQOO发布会官宣:骁龙855+44W快充,把隔壁小米9秒成渣
四川省运动会新增12项群众比赛 1482人代表成都出征
儿童手工折纸,折纸飞机大全步骤图解,简单战斗机折纸
十年增长百倍!中国成南极游第二大客源国 旅费从5万至11万不等
韶关市红色教育基地项目清表交地完成,很快将动工
亲,刚买的绿植又养死了?这8招超实用种植攻略,怎么不早看!
为了孩子,美国父母也操碎了心
长春网友节激情夜光跑圆满落幕!来一起回顾那个火热的夜晚
参观中国科技馆将实名制网络购票
国足战关岛首要目标三分,里皮:认为对手弱比赛难题就多
推荐阅读
11只产品收益超50% 这家大公募发生了什么?
油强粕弱延续,短期走势分化
四川发布实施《关于促进川台经济文化交流合作的若干措施》(全文)
2019年9月27日宿州市挂牌1宗工业用地 起始价487.87万元
上海市政协专题监督“乡村振兴战略实施情况及主要问题”
真有你的!阿西迪亚克诺:我和拉文合砍49分
距离冠军仅差0.5分 宇野昌磨仍满意:反应了水平
吴谢宇高中同学:以为他有厌女症,他很有主见不会被母亲控制
075型两栖攻击舰除直升机,还有其他武器吗?军迷:近防炮不可少
从《陌上》到《他乡》付秀莹郑州讲述百转千回的女性精神世界
最新新闻
陈茗屋:日记一束
喷美韩发导弹约普京 金正恩的底气从何而来?
澳门入境旅客破2000万人次 澳门用心提升游客舒适感
插花教程丨大开口玻璃花瓶+胶带,DIY漂亮的捧花
让你想不到这三种食材一起拌,清爽开胃,常吃有益身体健康
纽约爆发抗议:示威者高举辱警标语 冲撞地铁闸机
受道路封闭施工影响,烟台7条公交线路临时绕行
河北张家口交通协勤人员与“黑摩的”营运人员撕打
陈三哥福彩3D第19248期分析:对应码参考446
斯科拉里:我非常想念中国,很希望明年能够回中国执教

© Copyright 2018-2019 roominadaymn.com 澳门威尼斯人网上下注 Inc. All Rights Reserved.