新型美颜技术让你变明星
新型美颜技术让你变明星
图片美化前后对比图 图片来源:西弗吉尼亚大学
发布自拍前美颜一下,已成为当下爱美一族的常规操作。但是,无论如何美化,美丽的世界仍有一些难以逾越的门槛,比如面部五官的形状等难以美化。近日,西弗吉尼亚大学和ObEN公司提出了一种新型人脸美化技术,能够基于参照图像提升人脸的颜值,也就是说你的自拍也能变得跟明星一样美。相关论文成果发布在提交论文预印本的平台arxiv.org上。
目前,人脸美化通常基于美妆应用或妆容迁移思想的虚拟人脸美化技术,其中包括 PairedCycleGAN、BeautyGAN、BeautyGlow。其实,妆容迁移只是风格迁移的一种特例,其中描述风格的只有局部特征而已,比如眼影或唇彩。
该论文作者Xudong Liu希望搭建一种更通用的解决方案,能够同时迁移参照图像全局和局部风格代码,通过一到多转译来描述人脸美化的过程。一方面,可通过参照图像逐渐迁移所学习的美颜表征,得到颜值单调增长的输出图像。另一方面,通过学习一系列参照图像得到多种不同的个性化美化结果。
为了实现这一目标,研究人员提出了一种全新的生成对抗网络(GAN)架构。结合近期在基于风格的合成和基于数据的人脸颜值理解方面的最新进展,将基于风格的美颜表征和数据库训练得到的颜值预测整合进人脸美化的过程中。具体来说,基于风格的美颜表征将通过轻量卷积神经网络(LightCNN),从待美化和参照图像中提取,然后将其用于引导风格迁移过程,即美化过程。
Xudong Liu表示,基于 LightCNN 的微调训练了一种人脸颜值预测网络,并将其整合进了新提出的基于风格的人脸美化网络中。这个预测模块能为合成模型提供有价值的反馈,从而接近所需的颜值。
而后,研究人员构建了一个整合重建损失、美颜损失和身份损失函数的专用的基于 GAN 架构。为了对美化过程有细粒度的控制,同时还发明了一种简单但有效的重新加权策略,可逐渐提升合成图像的颜值,直到其达到参照图像水平。
研究人员介绍,这样的人脸美化问题可以表述为两个子问题:风格迁移和颜值预测。随着细粒度的风格迁移的进行,被美化的目标人脸的颜值会单调增长,向参照人脸的颜值靠拢。
评估发现,相比于 CycleGAN、MUNIT 和 DRIT 等当前最佳的图像到图像转译技术,新提出的方法表现更优,甚至能稳健地处理模糊和高难度光照条件下的低质量图像。
但是,研究人员也注意到,当输入存在较大遮挡和姿势差异时,模型往往会产生一些可见的伪影。主要原因是参照图像基本都是正脸图像,而较大遮挡和姿势差异会导致无法很好地对齐。
研究界认为,该研究提供了首个用细粒度控制人脸美化结果的方案,并且实现了美颜效果的定量控制,这种人脸美化技术应用起来更加灵活。(来源:中国科学报 卜叶整理)
同类文章排行
- 李明博听民众诉苦哭红眼圈 送老人围巾(图)
- 中国首架A380飞机完成体检 “巨无霸”体检不简单
- 赖斯抵达新德里 敦促巴基斯坦就孟买事件配合
- APEC举行第二阶段会议 胡锦涛出席并发言(组图)
- 王健林又悄悄卖了几家万达广场!保险、信托接
- 郑州燃气听证会激辩 现场亮牌“反对涨价”(图)
- 国产顶级“二次元”IP:三国
- 在人工智能炒热机器人时,也被人把风带进了教
- 为什么互联网产品越来越难做了?
- 泰国警察与示威者机场对峙 3000名旅客滞留(图)
最新资讯文章
- 中国首架A380飞机完成体检 “巨无霸”体检不简单
- 国家发改委去年以来处分36名局处级干部
- 人民日报谈食品谣言:别让“谣言伤农”一再上
- 中国造出“超级渔场”:高约23层楼 可抗12级台风
- 最高法:抓紧起草操纵证券等犯罪的司法解释
- 缉捕“百名红通”赵汝恒:三年逃亡路 青丝变白
- 军媒披露:原第1集团军“防化先锋连”已转隶第
- 中方团长回应澳大利亚总理“香会”开幕晚宴主
- 中纪委官员:苏荣、黄兴国等“老虎”问题线索来
- 地方举债监管再加码 严禁以政府购买服务为名变
- 法国各地爆发罢工潮 萨科奇式改革引起社会动荡
- 雅典警察枪杀少年引骚乱 数千人大闹市中心(图)
- 李明博听民众诉苦哭红眼圈 送老人围巾(图)
- 布什夫妇最后一个白宫圣诞很简朴(组图)
- 赖斯抵达新德里 敦促巴基斯坦就孟买事件配合
- 格陵兰岛天空现“末世景象” 如电影画面(图)
- 时代周刊:中国废品收购者感受经济危机(图)
- 黄静涉嫌敲诈华硕被错押 获2.9万国家赔偿(图)
- 法国在阿富汗被绑架人质录像曝光 祈求解救(图)
- 泰国警察与示威者机场对峙 3000名旅客滞留(图)