河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

基于人脸超分辨率、迭代协作的方法

来源:河洛网    发布时间:2021-02-02     发布人:洛阳新闻网

共享2020CVPR招聘论文: deepfacesuper-resolutionwithiterativecollaborationbetweenattentiverecoveryandlandmarkestimation是基于迭代的面孔的

基于人脸超分辨率、迭代协作的方法

该方法将16x16低分辨率图像的超分辨率设为128x128,CelebA和Helen数据集上的PSNR指标分别达到27.37和26.69,超过了目前的面部超分辨率算法。

当前代码是开源的:

https:/ github.com/MAC lory /深度交互协作

(目前有72颗星)

论文作者信息:

作者来自清华大学自动化学院、智能技术与系统国家重点实验室、北京信息科学与技术国家研究中心和清华大学深圳国际研究生院。

01

移动

在传统的面部超分辨率算法中,面部先验信息( facial prior )通常如面部关键点一样被引入,以支持网络生成更真实的超分辨率图像。 但是,这些方法有两个问题

从低分辨率图像LR或粗超分辨率图像SR得到的面部先验信息,正确利用面部先验的方法不一定是简单的concatenate操作,为了解决上述两个问题,作者提出了基于反复合作的面部超分辨率分析

02

方法

从网络结构图可以看出,为了解决先验网络无法从粗略Sr中得到准确的先验信息,作者设计了反馈迭代网络,使得所产生的超分辨率图像越来越接近真实图像,更真实的图像通过先验网络

下图说明了这种迭代机制的优点。 随着迭代次数的增加,关键点预测也越来越准确,生成的图像质量也越来越高。 作者也通过实验证明,迭代次数超过3次时,网络性能的提高有限。

另一方面,为了活用脸部的事前信息,作者提出了Attentive Fusion模块如下图所示。

作者将面部关键点预测网络(网络结构图的面部定位模块)的输出特征图分为左眼、右眼、口、鼻、面部轮廓5组。 用softmax将各组的特征图相加,得到各注意矩阵( Attention matrix )。

这五个注意矩阵分别去reweight网络五个分支的feature maps,再相加得到融合特征。 那么,作者如何确定密钥预测网络输出特征图中的几个信道是左眼,哪个信道是右眼呢? 从作者的开源代码可以看出,这些通道是人为指定的,规定了第32到第41个通道是左眼的密钥。

ifheatmap.size(1) = =5:返回heat map.detach ( ) ifdetachelseheatmapelifheatmap.size (1) = = 68:new _ heat map = torch.zeros _ like (热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图=热地图) facesilhouettereturnnew _ heat map.detach ( ) ifdetachelsenew _ heat map else :阵列物件范本% heat map.size (1)。 一旦理解了网络整体运行的原理,就很好地理解了网络的损失函数。

03

结果

下图是DIC/DICGAN与其他方法结果的比较图。

可以看到,DIC/DICGAN生成的图像更详细,恢复得更真实。 因为DICGAN是基于GAN的方法,所以与基于PSNR的FSRNet相比指标略低,但是生成的图像更真实。 这也是目前超分辨率任务中存在的问题之一:基于GAN的方法生成的图像视觉质量更好,但PSNR指标低。

04

资源

论文链接: https:/ arxiv.org/pdf/2003.13063.pdf项目链接: https:/ github.com/MAC lory /深度交互-合作

研究表明,生物识别可穿戴设备可以预测新型冠状病毒发作False

你真的知道人工智能和机器学习的区别吗?本文转自雷锋网,必要时转载到雷锋网官网申请授权。 你真的知道人工智能和机器学习的区别吗? 最近发表了一份报告,声称在产品和服务中使用人工智能[29] [30]的企业滥用人工智能。 根据Ver

人力资源和社会保障部计划发布16名新的专业人工智能培训师,以入围 新华社1月2日电(李金磊)经人力资源和社会保障部同意,中国就业培训技术指导中心近日发布了《关于发布新岗位信息公开的通知》,包括在线合同分销商、人工智能培训师、全媒体运营商、医疗保

用手机监视司机:司机记录器也开始应用AI技术本文从公众号rdquo; (ID:AI_Discovery)。 用手机监视司机:司机记录器也开始应用AI技术 过去三年来,美国成千上万辆货车配备了机器学习算法来分析驾驶员的行为。 算法可以检测驾驶员在车里拿到手

90后科技馆和他的另类搜索引擎Magi 最近,一个名为Magi的搜索引擎成为人们关注的焦点。据说这个搜索引擎与我们常见的搜索引擎非常不同,有一种被程序员喜爱的酷X风格。所以我们打开东方三博士,看了看。事实上,这一页看起

上一篇:AI技术将加入数据中心节能的新战场

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游