河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

一键“三维化”你的二维GAN,香港中文提出无监督三维重建的新方法。

来源:河洛网    发布时间:2021-09-10     发布人:洛阳新闻网

香港中文MMLab小组的这项研究证实了二维GAN可以隐式学习物体的三维结构。 研究者提出的方法可以看作是新的三维形状生成方法。 他们提出了一种新的无监督三维重建方法“Shape-from-GAN”,不依赖于传统方法的对称性假设,而是在开放式建筑等数据集上首次实现了三维重建。 这项研究被接受为ICLR 2021 Oral论文。

一键“三维化”你的二维GAN,香港中文提出无监督三维重建的新方法。

现在,StyleGAN等对抗生成网络已经能够对很多物体生成真实的二维图像。 但是,这些GAN可能知道实际生成的物体的三维形状。 由2维GAN生成的图像,如下图所示,可以正确地重构3维结构,实现旋转和再照明等图像编辑效果。

‍ 这是香港中文大学、南洋理工大学、香港大学的研究者提出的用二维GAN实现无监督三维重建的方法GAN2Shape。 这个“Shape-from-GAN”的范例不需要依赖于以往方法的对称性假设,而是适用于各种物体类,超越以往方法达到了SOTA。 目前,该论文作为Oral论文被ICLR 2021接收。 论文代码也是开源的。

论文链接: https://openreview.net/pdf? id=FGqiDsBUKL0

项目链接: https:/ github.com /新兴面包/ Gan 2形状

研究动机

近年来,生成对抗网络( GAN )在图像生成任务中取得了很大的成功。 当我们热衷于用它来创造二维图像的世界时,一个事实是这些二维图像实际上是三维物体在二维图像平面上的投影。

例如,下图显示了StyleGAN[1]能够实现脸部视角的变化(在人脸视角标记的监督下)。 。 因此,在GAN的图像空之间来回移动时,理想情况下这些图像应该符合物体自身的三维结构。

‍ StyleGAN可以实现脸部的视角变化

因此,一个有趣的问题是能否通过挖掘二维GAN的几何信息(视角和光)来重构物体的三维形状。

‍ 方法:挖掘利用GAN图像空间的视场角和照明信息

挖掘GAN中的几何信息并不容易,利用现有方法很难找到视场角和照明变量相对于任意物体类别的GAN在隐空之间对应的准确方向。 为了解决这个问题,研究人员注意到许多物体(如人脸、汽车等)具有“凸”的三维形状。

因此,他们将椭圆体用作物体形状的事前。 虽然这个事先很弱,但在一定程度上反映了物体的视场角和照明的变化,可以用于在GAN图像空之间搜索不同的视场角和照明。

gan 2形状方法概述

基于这一想法,研究人员设计了反复挖掘和利用GAN图像空之间的视场角和照明信息的战略,具体步骤如下。

首先,使用初始化的形状(椭圆体)和微渲染器渲染许多不同视角和照明条件下的“伪样本”( pseudo samples )。

第二,用事先训练好的GAN重构虚拟样本,得到GAN图像空之间的投影,即“投影样本”( projected samples )。 这些投影样本继承了与伪样本相似的视角和照明,GAN的生成特性将投影样本约束在实际图像空之间,消除伪样本中不真实的失真和光影。

第三,将投影样本作为可微渲染步长的ground truth,优化物体的三维形状。 由于投影样本中包含了GAN所学物体的三维信息,物体的形状会更加正确,就像上图中的人的脸一样。

以上步骤结束后,将优化的形状作为初始形状重复上述步骤,多次重复直到收敛,从而可以逐渐改善形状。

另外,在上述第2步骤中使用GAN重构虚拟样本时,为了保证重构结果的真实性,提出了使用StyleGAN2的一部分mapping网络约束隐向量的方法,更详细地请参照论文原文。

实验:二维GAN图像均可三维化

研究人员将GAN2Shape分别应用于在脸、猫的脸、车、建筑中训练过的StyleGAN2 [1]中,结果如下图所示,重新构建了合理的三维形状。

下图显示了GAN2Shape建筑的三维重建和重新照明的结果与Unsup3d [2]的比较。

此外,该研究的定量结果也超出了其他方法,不用传统方法的面部对称性假设,即可得到合理的三维重建结果。

由于通过该方法可以得到GAN隐空之间的物体的三维形状和视角·照明变化的方向,因此可以如下图所示对图像进行三维编辑。

物体的旋转和再照明等三维图像编辑结果。

比起其他不用监视就能在GAN中实现脸部旋转的方法,研究者的方法更好地保存了脸部的identity :

没有监视脸部旋转方法的比较。

下图显示了更多三维重建和编辑的结果。

【编辑推荐】

人工智能在国防领域中起什么作用?研究表明,人工智能技术的发展势头对迅猛的国防行业来说,这项技术非常重要。 最先采用人工智能技术的组织和受益者,有了人工智能技术,军事行动将更加高效准确,同时从长远的角度来看,

AI再次打败了人类:仅凭自拍照片就能分辨性格AI再次打败了人类:仅凭自拍照片就能分辨性格 新研究表明,人工智能( AI )是rdquo; 在这件事上再次打败人类。 与人相比,机器更好地认识特征,通过分析人物的脸,可以确定各种性格特性。 俄罗

为什么自然语言处理是商业智能的未来 为什么自然语言处理是商业智能的未来 每次你向Siri询问方向,一个复杂的代码串就会被激活,这个代码会产生 rdquo实现有效的谷歌搜索。为了从谷歌得到你想要的答案,你需要知道它的语言。 然

一名20年人工智能老兵的自白 眼部科技创始人兼首席执行官周军。 一名20年人工智能老兵的自白 他在模式识别和人工智能领域已经有20多年的历史,是一个名副其实的行业老手。从天成叶盛的成立到眼睛技术(Eye Technology)的成立

人工智能的五大数据趋势将在2018年发生变化 随着大数据和人工智能的广泛应用,这些新兴技术的巨大影响已经遍及全球经济。今天的投资者和企业家渴望在2018年取得这些创新成果,并开始界定这些技术创新的主要趋势。那么,今天人工智能

上一篇:人工智能会取代不想学习的人吗?

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游