河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

解决AI的大难题:如何降低AI运营带来的能源消耗?

来源:河洛网    发布时间:2021-09-09     发布人:洛阳新闻网

其次,在AI领域实现突破性进展的深度学习模式,其规模越大,能耗和成本也越大。 自然语言处理模型GPT-3是一个典型的例子,为了在准确性和速度上与人类匹敌,它包含1750亿个参数,消耗350 GB的内存,最多产生1200万美元的模型训练成本。 而且,如果只看成本的话,应该能够感受到它消耗的大量能源。

解决AI的大难题:如何降低AI运营带来的能源消耗?

UMass Amherst的研究人员发现,训练大规模AI模型所需的计算能力通常可应对60万磅以上的二氧化碳排放量,相当于5辆家用汽车在整个使用周期内的总排放量。

此外,这些模型在实际的生产环境(即推理阶段)中需要消耗更多的能量才能持续生产分析结果。 根据英伟达的估计,神经网络模型运行所需成本的80%到90%来自推理阶段而不是训练阶段。

因此,我们认为,为了保持AI技术的迅速进步,必须寻找找到具有环境可持续性的道路的方法。 但是,我们已经证明,大模型可以缩小到日常工作站和服务器可以运行的大小,而对准确性和速度几乎没有影响。

那么,我们先来谈谈机器学习模式为什么总是这么臃肿。

目前,计算能力每3~4个月翻一番

十多年前,斯坦福大学的研究人员发现,用于处理视频游戏复杂图形的处理器( GPU )可以在深度学习模式下提供非常高的计算效率。 这个发现引起了&ldquo。 军备竞赛&rdquo,各制造商正在为深度学习应用开发越来越强大的专用硬件。 与之相对应,数据科学家们制作的模型也越来越庞大,希望由此带来更准确的处理结果。 两种力量交织在一起,形成了现在的态势。

来自OpenAI的研究表明,目前整个行业都处于这样的升级周期。 2012年至2018年间,深度学习模型的计算能力每3~4个月翻一番。 这意味着AI的计算能力在6年内增加了30万倍。 如上所述,这些计算力不仅可以带来训练算法,还可以在生产环境中更迅速地带来分析结果。 但是,根据MIT最终的研究,我们达到计算能力极限的时间可能远远早于大家的想象。

更重要的是,由于资源水平的限制,深度学习算法开始成为极少数组织的专属。 当然,我们希望使用深度学习从医疗图像中检测癌症细胞的变化,或者在社交媒体上自动消除仇恨言论,但是我们无法忍受更多的深度学习和高功耗的模式。

未来:越少越多

幸运的是,研究人员发现了一些新方法,可以使用更智能的算法缩小深度学习模型,重新调整训练数据集的使用方式。 这样,大模型也可以在低配置的小生产环境中工作,并继续根据用例提供所需的结果。

这些技术有望推动机器学习的大众化,即使是没有足够金钱和资源的组织也可以训练算法,帮助成果投入生产。 这一点无法容纳专用的AI硬件“ 边缘” 用例尤为重要,包括照相机、汽车仪表板、智能手机等小型设备。

研究人员一直试图通过删除神经网络中不必要的连接和降低数学运算的复杂性等方式来缩小模型的体积。 这些更小、更快的模型可以以与大模型相同的精度和性能在任意位置运行。 这样,我们就不需要疯狂地追求终极计算力,有望缓解对环境的重大破坏。 事实上,缩小模型的体量,提高模型效率已成为深度学习的未来发展方向。

另一个重要的问题是对不同的用例在新的数据集上反复训练大模型。 迁移学习技术有望解决这类问题— — 该技术以预训练完成的模型为起点,使用有限的数据集获得模型知识“ 迁移” 新任务不需要从零开始重新训练初始模型。 这是降低模型训练所需计算力的重要手段,大大缓解了AI的发展给自然环境带来的能源压力。

底线在哪里?

如果可能的话,模型可以是“ 瘦身” 降低计算力的需求。

另外,通过模型获得的知识不需要每次都执行从零开始深入的学习训练过程,应该可以回收再利用。 最终,所有期望降低模型规模、降低计算能力消耗而不影响性能和准确性的方法都将成为释放深度学习能量的重要新机会。

这样,每个人都可以以较低的成本在生产环境中运行这些应用程序,同时大大减轻了对自然环境的压力。 成为&ldquo的大AI” 如果时间开始变化,那里面一定蕴藏着无数新的可能性。 对这样的前景,我们充满了期待。

【编辑推荐】

微软推出七款新的人工智能产品,让你心碎,让你工作得更好 志东11月1日在北京报道,今天(寒风凛冽),2017微软技术与生态大会在北京举行。此次会议主要关注虚拟助手、微软Azure云和人工智能。 微软推出七款新的人工智能产品,让你心碎,让你工作得更好

在传统数据之外,哪里是通往智慧之路?人工智能引入商界后,可以更好地满足顾客的需求。 例如,人工智能可以从根本上改变顾客的体验。 数据获取和管理的成功是前进过程中的初期障碍,但目前企业在数据管理和利用方面也越来越

人工智能技术在人力资源中的重要性人工智能具有实时决策能力,可以根据预先编程的算法和相关的计算技术进行收集。 人事部门受到人工智能的影响。 利用人力资源的全人类因素和机器智能,这些公司给求职者和员工带来改善和

百度妇女节海报描绘智能生活:人工智能将解放女性 随着社会的进步和公民意识的觉醒,全社会越来越关注妇女的权益。3.8磅。女神节。到达时,百度人工智能团队推出了一组鼓舞人心的海报,通过女性的几个日常生活场景描绘了智能社会的未来,

5G将从根本上改变医疗行业图片来源: https:/ pix Abay.com /图像/标识- 1495707 / 5G将从根本上改变医疗行业 5G技术旨在创建更快、更可靠的互联网。 5G就在眼前,如果能得到更广泛的利用,将会明显改善医疗行业。 这项技术使虚拟

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游