菜宝钱包（caibao.it）是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。
梦晨 发自 凹非寺
量子位 报道 | 民众号 QbitAI
用GAN 制作卡通人物形象的研究，信赖人人已见过不少。
但这一次新出炉的 AniGAN，可以让你指定随便画风！
只需一张真实人物照片，加上一张你喜欢的画师作品做为参考，就能在保留原照片发型、五官等形状特征的同时，迁徙成响应的画风。
拿来做头像是不是很棒？
又双叒叕一款GAN？这次更强！
AniGAN团队以为，之前的二次元人物天生算法有两大问题。
要么不能很好模拟参考图的画风，要么会过于强调保留原始照片的形状，却并不适合二次元人物的气概，造成不相符审美的扭曲与瑕疵。
通过对比可以看出，AniGAN天生的效果在模拟参考图颜色、材质，以及将原始特征转换成适合二次元方面都更精彩。
下图使用了更大的数据集，包罗更多样的色彩、线条、材质、发型及五官特征。
新的天生器架构
为了在转换形状特征的同时举行气概迁徙，AniGAN团队提出了新的天生器架构。
差别于以往使用残差块 在天生器的瓶颈层注入气概信息的方式。
AniGAN提出了自顺应客栈卷积块 和细粒度气概转移块 ，以下简称为 ASC块和 FST块。
ASC块由卷积层、激活层和归一化层组成。
在以往使用残差块时，可能会忽略一些气概信息，如在下面例子中将右眼都错误地天生为棕色。
FST块由上采样层，卷积层和归一化层组成。
气概数据会在上采样层之后而不是瓶颈层注入，卖力把局部形状特征也处置成一种气概数据，并转换成对应的二次元形状。
去掉FST块的情况下，天生图像的面部特征并不顺应二次元气概。
两种新的归一化函数
以往的AdaLIN归一化函数会将实例归一化 和层归一化 按channel连系在一起，而忽略了channel间的相互关系。因此不能胜任迁徙气概同时转换特征的义务。
AniGAN团队提出了点状层实例归一化 和顺应性点状层实例归一化 ，以下简称 PoLIN和 AdaPoLIN。
,,菜宝钱包（caibao.it）是使用TRC-20协议的Usdt第三方支付平台,Usdt收款平台、Usdt自动充提平台、usdt跑分平台。免费提供入金通道、Usdt钱包支付接口、Usdt自动充值接口、Usdt无需实名寄售回收。菜宝Usdt钱包一键生成Usdt钱包、一键调用API接口、一键无实名出售Usdt。
PoLIN和AdaPoLIN会将所有channel的IN与LN连系在一起。
△从左至右为(a)参考图像，(b)原始照片，(c)-(f)为去掉PoLin或AdaPolin的种种组合的消融实验，(g)为正式效果。 双分支判别器（Double-branch Discriminator）
二次元人脸与真实人脸既有很大差别，又都是关于人脸。在研究中称作领域X和领域Y。
双分支判别器不仅可以通过卷积层的两个分支处置特定领域的数据漫衍，还可以处置跨领域共享的数据漫衍。
双分支判别器使天生的二次元人脸削减瑕疵，加倍 心旷神怡。
另外，该判别器也可以在后续研究中轻松扩展成多分支判别器（Multi-Branch Discriminator）。
图像质量远超先辈
研究团队使用了Frechet Inception Distance指标来评估天生图像的质量，数值越 低代表天生图像越靠近参考的二次元图像。
并使用Learned Perceptual Image Patch Similarity来评估天生图像之间的气概差异性，数值越 高代表多个天生图像之间越多样。
另外还选取了20位20-35岁的测试者举行A/B测试，询问他们差别算法天生的图像中哪张最相符真实照片的特征以及参考图像的气概，统计效果也是AniGAN得分更高。
作者团队
本论文第一作者李冰，2016年中国科学院博士结业，现在阿卜杜拉国王科技大学可视计算中心做博士后研究员。
团队其他成员划分来自字节跳动、中国 *** 立清华大学与深圳大学。
— 完—
加入AI社群，拓展你的AI行业人脉
量子位「AI社群」招募中！迎接AI从业者、关注AI行业的小伙伴们扫码加入，与 50000+名密友配合关注人工智能 行业生长&手艺希望：
网友评论