河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

基于人脸超分辨率、迭代协作的方法

来源:河洛网    发布时间:2021-02-01     发布人:洛阳新闻网

共享2020CVPR招聘论文: deepfacesuper-resolutionwithiterativecollaborationbetweenattentiverecoveryandlandmarkestimation是基于迭代的面孔的

基于人脸超分辨率、迭代协作的方法

该方法将16x16低分辨率图像的超分辨率设为128x128,CelebA和Helen数据集上的PSNR指标分别达到27.37和26.69,超过了目前的面部超分辨率算法。

当前代码是开源的:

https:/ github.com/MAC lory /深度交互协作

(目前有72颗星)

论文作者信息:

作者来自清华大学自动化学院、智能技术与系统国家重点实验室、北京信息科学与技术国家研究中心和清华大学深圳国际研究生院。

01

移动

在传统的面部超分辨率算法中,面部先验信息( facial prior )通常如面部关键点一样被引入,以支持网络生成更真实的超分辨率图像。 但是,这些方法有两个问题

从低分辨率图像LR或粗超分辨率图像SR得到的面部先验信息,正确利用面部先验的方法不一定是简单的concatenate操作,为了解决上述两个问题,作者提出了基于反复合作的面部超分辨率分析

02

方法

从网络结构图可以看出,为了解决先验网络无法从粗略Sr中得到准确的先验信息,作者设计了反馈迭代网络,使得所产生的超分辨率图像越来越接近真实图像,更真实的图像通过先验网络

下图说明了这种迭代机制的优点。 随着迭代次数的增加,关键点预测也越来越准确,生成的图像质量也越来越高。 作者也通过实验证明,迭代次数超过3次时,网络性能的提高有限。

另一方面,为了活用脸部的事前信息,作者提出了Attentive Fusion模块如下图所示。

作者将面部关键点预测网络(网络结构图的面部定位模块)的输出特征图分为左眼、右眼、口、鼻、面部轮廓5组。 用softmax将各组的特征图相加,得到各注意矩阵( Attention matrix )。

这五个注意矩阵分别去reweight网络五个分支的feature maps,再相加得到融合特征。 那么,作者如何确定密钥预测网络输出特征图中的几个信道是左眼,哪个信道是右眼呢? 从作者的开源代码可以看出,这些通道是人为指定的,规定了第32到第41个通道是左眼的密钥。

ifheatmap.size(1) = =5:返回heat map.detach ( ) ifdetachelseheatmapelifheatmap.size (1) = = 68:new _ heat map = torch.zeros _ like (热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图) facesilhouettereturnnew _ heat map.detach ( ) ifdetachelsenew _ heat map else :阵列物件范本% heat map.size (1)。 一旦理解了网络整体运行的原理,就很好地理解了网络的损失函数。

03

结果

下图是DIC/DICGAN与其他方法结果的比较图。

可以看到,DIC/DICGAN生成的图像更详细,恢复得更真实。 因为DICGAN是基于GAN的方法,所以与基于PSNR的FSRNet相比指标略低,但是生成的图像更真实。 这也是目前超分辨率任务中存在的问题之一:基于GAN的方法生成的图像视觉质量更好,但PSNR指标低。

04

资源

论文链接: https:/ arxiv.org/pdf/2003.13063.pdf项目链接: https:/ github.com/MAC lory /深度交互-合作

人工智能的研究热点:自然语言处理人工智能( Artificial Intelligence,AI )作为新科技革命和产业变革的重要推动力,深刻影响着世界,改变着世界。 自然语言处理( Natural Language Processing,简称NLP )成为AI领域的研究热点,推动了语言智能

人工智能突破了大数的核心,在一秒钟内解决了微分方程和不定积分,其性能远远优于Matlab。 本文经人工智能新媒体qubit(公开号:QbitAI)授权转载。请联系来源以便重印。 人工智能突破了大数的核心,在一秒钟内解决了微分方程和不定积分,其性能远远优于Matlab。 众所周知,人工智能(神经

该项目已经启动。微软研究院用转移学习训练自主无人机,可以在真实环境中使用。 这篇文章来自雷锋网。如需转载,请在雷锋网官方网站申请授权。 资料来源:https://www . Microsoft . com/en-us/research/blog/training-deep-control-policies-for-the-real-world/ 该项目已经启动。微软研究院用转移学习训

AI领域|改变游戏规则的10个划时代的观点本文由雷锋网转载,必要时转载到雷锋网官网申请授权。 AI领域|改变游戏规则的10个划时代的观点 从我的AI之旅中,我发现了具有无限潜力的想法和概念。 他们在辉煌的历史上留下了自己的印象。

中国人工智能计算能力报告:互联网行业投资最高,杭州位居城市前列 rdquo。3月28日,国际数据中心联合发布了《2018-2019年中国人工智能计算能力发展评价报告》(以下简称现状;现状。双重高地。战略是全力支持合肥建设以人工智能产业为核心的合肥高新区。 [编辑

上一篇:AI技术将加入数据中心节能的新战场

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游