河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

可以用两个小模型吊大模型! 北大出身的谷歌华人做“模型聚会”的话,CNN、Transformer都适用!

来源:河洛网    发布时间:2021-11-25     发布人:洛阳新闻网

型号不变大的话性能就不会变好吗?

可以用两个小模型吊大模型! 北大出身的谷歌华人做“模型聚会”的话,CNN、Transformer都适用!

那不一定!

在构建新的机器学习APP应用深度模型时,研究人员通常会从现有的网络体系结构(如ResNets和EfficientNets )中筛选出初始体系结构。

如果初始模型的精度不够,则更换为更大的模型可能是常见的选择,但实际上可能不是最佳解决方案。

相反,设计针对特定任务优化的新模型可能会提高性能。 但是,这种努力可能很困难,往往需要很多资源。

中国研究员王小芳在谷歌研究实习中发表的论文“wisdomofcommittees:Anoverlookedapproachtofasterandmoreaccuratemodels”中,以该论文为模型

https://arxiv.org/pdf/2012.01988.pdf

这两种方法都是通过收集现有模型并组合它们的输出来构建新模型的简单方法。

研究表明,少量易构建模型的集合也能匹配或超过最先进模型的精度,同时效率明显提高。

王小芳是卡内基梅隆大学机器人研究所的博士研究生,本科是北京大学计算机科学专业,是IJCV、TIP、ACM计算服务等期刊的审稿人,也是CVPR、ICCV、ECCV

什么是模型集成和级联? “集成”( ensemble )和“级联”( cassage )是相关的方法,可以利用多个模型的优点来提供更好的解决方案。

整合多个模型并运行,然后组合这些输出进行最终预测。

级联是集合的子集,但如果依次运行所收集的模型,并且预测其具有足够高的可靠性,则会合并解。

对于简单输入,级联使用较少的计算,但对于更复杂的输入,会调用更多的模型,从而导致更高的计算成本。

集成和级联概述。 此示例显示了集成和级联两种模型的组合。

如果收集的模型预测与单个模型相比有所不同,集成将提供更高的准确性。

例如,ImageNet中的大多数图像在当前的图像识别模型中很容易分类,但模型之间有很多预测不同的图像。 在这种情况下,模型集成的好处最大。

集成( ensemble )是众所周知的,但通常不被视为深度模型体系结构的中心构建块,研究者在开发更高效的模型时很少进行探索。

因此,该工作全面分析了集成效率,表明简单集成或现成预训练模型的级联将提高前沿模型的效率和准确性。

模型集成具有以下有益的功能:

学生戴着“金箍”:脑-机接口的头环,实时监控课堂上的心不在焉,并自动提交给老师和家长 本文经人工智能新媒体qubit(公开号:QbitAI)授权转载。请联系来源以便重印。 学生戴着“金箍”:脑-机接口的头环,实时监控课堂上的心不在焉,并自动提交给老师和家长 当最新的。黑色技术。当它

2021年将形成新的人工智能人工智能塑造了世界。 学习如何战胜冠状病毒、汽车自动化和机器人,只不过是改变世界的一些创新。 在自然语言系统的推动下,我们越来越依赖医疗创新和客户服务。 量子计算对人工智能有着

2019年网络学校招生的工资暴露了,看看你能拿到多少钱! 校园招聘将于2019年秋季结束。近年来,学校招聘已经成为企业争夺人才的主要阵地,尤其是在互联网行业,许多企业会用高薪来吸引优秀人才。最近,互联网披露了互联网行业的高薪名单: 2019年网

遥控变形机器人软硬结合

为什么企业应该关注AIoT呢?回顾过去100年来最大的技术革新,你马上会想到什么? 有可能是电子电视的发明吗? 还是微波的发明? 还是电脑、互联网、智能手机的崛起? 为什么企业应该关注AIoT呢? 近20年来,无论你现在

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游