河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

实时风格转换、移动端运行、脸部特效都有新的玩法

来源:河洛网    发布时间:2021-09-09     发布人:洛阳新闻网

今年,脸部视频的特效在世界上又大火了。 还有年初的《蚂蚁牙黑》(颜歌)和不久前移动旧照片的特殊效果,很有效。

实时风格转换、移动端运行、脸部特效都有新的玩法

风格转变是图像领域的热门方向。 那么,通过视频实时转换脸部画风的效果如何呢?

是的。

当然,视频画风的转移并不是什么新鲜的技术。 但是,这项研究的最大特点是,移动目的地、实时、由布拉格捷克理工大学和Snap公司的研究者共同完成。 目前已发表了完整的论文,相关代码将于下月公布。

项目地址: https:/ ondrejtexler.github.io/face blit /

论文地址: https:/ ondrejtexler.github.io/RES/face blit-paper.pdf

具体而言,提出了基于实例的实时视频面部样式过渡框架FaceBlit,其中在目标图像的适当位置上,以有意义的方式出现样式的纹理细节,即用于描绘特定样式的特征的笔划。

与传统的样式迁移方法相比,该框架不仅可以保持目标对象的身份,而且可以实时运行,无需大数据集或冗余的训练周期。

因此,研究人员修改了Fi&scaron的er们( 2017年)的脸部样式化pipeline不仅可以支持目标对象的身份,还可以支持Sý的一系列指导通道( guiding channel )。 基于kora等人( 2019年)的patch合成算法的速度发生了更快的变化。

通过这些方法的改进,研究者建立了第一个系统框架,在移动端也可以将各个肖像画的艺术风格实时转移到目标视频的脸上。

有关完全生成效果的详细信息,请参阅以下视频:

实时视频面部样式转换方法介绍该研究方法的输入是面部样式样本图像𝑆。 以及目标脸部视频序列t。 假定脸部表情的变化和动作是基于被实验者注视摄像机,不被其他物体遮挡的基础上的。 这项研究的输出是风格化的序列𝑂。 支持𝑆。 的重要艺术特征,保留着目标主体的身份。 虽然Fi&scaron已经可以使用,但是er们[2017]的方法生成了这样的输出,但是这里的主要缺点之一是他们的方法只适用于离线处理。

为了实现实时性能,研究人员需要改变指导方针的计算方法,并用s & ya cute。kora等人[2019]提出的更高速的变体是er等人[2016]的宽松patch代替了Fi&scaron

在Fi&scaron上; 在er等人提出的方法中,4个感应通道被用于驱动合成。 分割指南𝐺; _seg是通过将脸部细分为一系列区域(头发、眉毛、鼻子、嘴唇、口腔、眼睛、皮肤)来描绘重要脸部特征的位置指南( positional guide ) 𝐺; _pos将源面部和目标面部之间的空之间的对应关系进行编码。 这两个渠道确保有意义的转移。

为了维持目标对象的身份特性,可以使用Fiš er等人采用了外观指南( appearance guide ) 𝐺。 _app方式采用Shih等人的拍摄风格转变方式来平衡源图像和目标图像的外观,从而减少源图像和目标图像之间的场隙。 最后,时间的指针𝐺; _temp执行时间一致性,但𝐺; _temp用样式化帧的运动-补偿版本表示。

上述指导信道的计算需要数十秒,所以不容易在实时场景中使用。 相反,该研究将四个信道简化为两个基本信道𝐺 _ pos和& # 119866; _app (如图2所示),改变基础生成算法,将准备时间缩短到几十毫秒。 最后,该研究给出了将这两个新的指导方针通道整合到Sý中的方法。 在kora等人[2019]的高速合成算法中。

优势研究者表示,与其他风格的迁移方法相比,生成效果更好的关键在于位置指南、外观指南、直方图匹配三个方面。 下图是有无位置参考线和外观参考线生成效果图的比较。 如果没有位置或外观参考线,您会发现生成的动态效果图有一定的缺陷。

另外,在生成目标外观辅助线G^T_app时,直方图匹配也非常重要。 从技术上看,如果与外观指南的直方图不一致,误差e会马上超过阈值t,chunk会明显变小,结果看起来很模糊。 如图8a所示,在没有直方图匹配的情况下,不能很好地保持目标对象的身份,生成效果变得模糊。 另一方面,如图8b所示,进行了直方图平均化后,生成效果得到了显着改善,更加明确。

直方图匹配有无的动态生成效果进行如下对比。

最后,研究者使用一种混合方法,使目标肖像画生动,表现“复刻”视频中人脸上的各种表情。

出现了不可思议的一幕,古雕像画《活着》:

【编辑推荐】

AGV机器人导航新技术!室内导航机器人的新框架即将问世! 移动机器人应该能够有效地在现实世界环境中导航,避开人类或周围环境的其他障碍,以完成人类设计的任务。虽然静态物体通常很容易被机器人发现和躲避,但是躲避人类可能更具挑战性,因为

训练130亿参数的模型需要使用多少GPU? 微软:一个就够了现在的模型容易变成几百、几千亿的参数,普通人无法训练怎么办? 训练130亿参数的模型需要使用多少GPU? 微软:一个就够了 前几天,谷歌发布了参数量为1.6万亿的语言模型Swith Transformer,将GPT

谷歌人工智能访谈,真相与问题(参考答案+策略) 也许每个程徐苑都想加入谷歌。 谷歌人工智能访谈,真相与问题(参考答案+策略) 然而,想hellip。hellip。 middot;真与中;问题) # 65279; 3.如何设计客户满意度调查? 回答:第三个问题太抽象了。我

微软的GitHub试图利用人工智能理解软件开发者的想法代码共享服务GitHub推出了一款名为GitHub Copilot的新产品,它是面向软件开发人员的人工智能助手。 微软的GitHub试图利用人工智能理解软件开发者的想法 该产品利用人工智能技术简化IT运营ldquo; 艾

人工智能教育被列入中小学课程!近年来,人工智能领域的发展持续升温,人才短缺的现状备受关注。 根据国务院2017年7月发布的《新一代人工智能发展规划》,rdquo的人工智能教育新的任务。 人工智能教育被列入中小学课程!

上一篇:世界上最难的“沙雕”游戏被AI打破了

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游