河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

集装箱执行ai APP应用必须知道的六个原则

来源:河洛网    发布时间:2021-11-25     发布人:洛阳新闻网

作为目前两大主要的IT趋势,AI/ML和集装箱已经广泛应用于企业。 虽然各团队不断寻求将人工智能与机器学习工作负载良好结合的方法,但由于两者之间越来越密切的结合,企业必须求助于各种商业和开源技术。

集装箱执行ai APP应用必须知道的六个原则

ISG公司企业技术分析师Blair Hanley Frank表示: “ 对IT领导者来说,最好的消息是,这些年来,在集装箱内大规模执行机器学习的工具和流程得到了大幅改善,不是吗? 丰富的开源工具、商业产品和教程帮助数据科学家和IT团队启用和运行这些复杂的系统。 ”

但是,在IT领导和团队深入研究集装箱化AI/ML工作负载的基础技术之前,请认真考虑以下原则: 只有打好基础,未来的道路才能平稳轻快地前进。

根据Red Hat技术导师Gordon Haff的观点,与其他各种工作负载一样,AI/ML工作负载的本质也代表了可以被视为工作流的工作流。 从工作流的角度来看,它有助于阐明在容器中运行AI/ML的基本概念。

在AI/ML领域,工作流的起点从数据收集和准备开始。 没有这一步,模特不可能走太远。

Haff强调,第一步是收集、清理和处理数据。 完成这些环节,“ 接下来是模型训练。 根据一系列的训练数据调整参数。 模型培训完成后,工作流的下一步是部署到生产环境中。 最后,数据科学家们需要监测模型在生产中的性能,跟踪各种预测和性能指标。 ”

虽然Haff以非常简单的方式描述了整个工作流程,但其中仍然有大量的人员、流程和环境等相关工作量。 为了提高一致性和再现性,需要一个容器化工具来简化整个过程。

霍夫是“ 过去,这种工作流常常需要在不同的环境中,在两到三个人员之间进行交流。 但是,基于容器平台的工作流支持自助服务,帮助数据科学家轻松地将开发的模型集成到APP场景中。 ”

收入类似于其他集装箱化工作负载,Autify公司AI和ML负责人Nauman Mustafa认为,集装箱化技术在AI/ML工作流方案中有三大整体优势。

模块化:高度模块化工作流的关键组件,包括模型培训和部署。 这个收益在整个软件开发领域也得到了鲜明的体现,是在集装箱化支持下高度模块化的微服务架构。 速度:容器化为“ 缩短开发/部署和发布周期” 。 人员管理:容器化为“ 减少团队之间的依赖性,便于团队管理。 ” 与其他IT领域一样,工作内容在不同的功能团队之间交换,但集装箱化是“ 交了就完了” 消极情绪。 虽然机器学习模式具有与其他APP和服务完全不同的技术要求和考虑事项,但容器化带来的好处仍然是高度通用的。

Red Hat的数据科学家Audrey Reznik还表示,集装箱化在提高混合云环境等AI/ML工作负载和解决方案的可移植性和可扩展性方面也很有效,有望降低运营成本

Reznik是“ 容器使用的系统资源比裸机和虚拟机系统低。 ” 这样可以进一步缩短部署时间。 “ 我喜欢问“你的编码速度是多少”。 因为编码越快,集装箱部署解决方案就越能先使用。 ”

各个团队必须保持一致性。 虽然工作流的模块化程度更高,但各团队、各成员仍需要保持密切的合作关系。

ISG公司的弗兰克是“ 所有参与在集装箱化环境中构建和运行机器学习工作负载的工作人员必须相互理解。 运输工程师熟悉Kubernetes的运营需求,但往往不了解数据科学工作负载的具体特性。 另一方面,数据科学家可能对构建和部署机器学习模型的过程非常了解,但不擅长将模型迁移到容器中或使模型稳定运行。 ”

集装箱化当然可以提高一致性和合作水平,但这些增益绝不是空。

Red Hat公司全球软件工程总监Sherard Griffin表示,“ 由于当今时代强烈强调结果的重复性,企业可以使用集装箱降低AI/ML技术的进入门槛,帮助数据科学家轻松共享和再现实验结果,同时始终遵循最新的IT和信息安全标准。 ”

运营要求在运营中也体现在,集装箱化技术的各种好处对AI/ML的帮助与其他工作负载类型基本相同。 因此,在实际运营中,也和其他集装箱化APP一样,需要认真考虑以下三个运营要求。

资源分配: Mustafa指出,随着时间的推移,资源分配是否合理将直接决定成本优化和性能。 如果资源分配过剩,我们必然会浪费大量的资源和资金;如果分配不足,我们就会面临绩效问题。 可观察性:看不到问题并不意味着问题不存在。 弗兰克是“ 必须引进必要的可观察软件,保证更全面地理解多集装箱APP应用的实际工作。 ” 安全性: Positive Technologies公司的机器学习工程师Alexandra Murzina表示,“ 从安全性的角度看,在容器中启用AI/ML类解决方案与使用其他解决方案没有太大区别。 ” 因此,必须将员工和容器本身的最小权限原则、仅使用经过验证的受信任容器进行镜像、定期执行漏洞扫描以及其他安全策略放在工作列表的开头。 集装箱不能解决所有潜在的问题,不能改善自然存在的缺陷的工艺,集装箱化也不能解决AI/ML工作负载的根本问题。 例如,如果机器学习模式有偏见/偏颇,用容器执行它一点也不会改善生产效果。

诚然,容器化有其独特的优点,但这些优点绝非万金油,无法解决潜在的问题。 即使面对数据错误、偏见和偏见/偏见,容器化也只能加速工作流的各个阶段。

凯工程技术总监Raghu Kishore Vempati说: “ 虽然容器特别适合执行AI/ML工作负载,但仅靠容器化无法提高这种模型的效率。 虽然集装箱化只是提供提高模型训练和模型推理生产力的方法,但显然还有其他需要解决的问题。 ”

是自制的还是购买的,哪个方法好? 和大多数技术选择一样,AI/ML工作负载的容器化领域也是“ 应该这样做,还是这样做” 我的烦恼。 而且这个问题没有简单直观的答案。

目前,市场上有很多用于将AI/ML负载集装箱化并执行的开源项目选项。

Autify公司的Mustafa表示,“ 机器学习工作流的容器化过程带来了新的成本,这部分成本很可能超出小团队的允许范围。 但是,对于大型团队来说,收益可能远远高于成本。 ”

因此,IT领导者和团队必须有明确的目标和理由推进集装箱化。 弗兰克是“ 总之,不要让本来就很复杂的情况更复杂。 除非集装箱化的机器学习负荷能带来超过能源投入的商业价值,否则最好不要乱折腾。 ”

但是,这一价值渗透到越来越多的企业中,并随着AI/ML的整体普及而增加。 所以“ 应该选择容器化吗? ” 我得到了肯定的回答。 接下来要考虑的是自制还是购买。

幸运的是,各种集装箱化平台、工具和服务层出不穷,目前市场上有许多开源项目可供集装箱化运行AI/ML负载。 例如,Kubeflow专门用于在Kubernetes中组织机器学习类的工作负载。

在这里,我们将分享一个普遍的标准,以避免在这方面花费太多精力,除非AI/ML工作流的容器化、部署和管理是企业的业务核心。 霍夫是“ 就像云本地人一样,如果团队过于专注于平台和工作流的组装,而忽视了手头的实际业务问题,失败也不远了。 许多小组注意到,在完成平台建设之后,才需要使用GPU资源。 现在调整已经来不及了。 ”

这样的情况下,团队只会在修复和处理设计错误上浪费大量的时间,无暇思考真正重要的模型开发、训练和推理工作。

霍夫是“ 或者,也可以选择统一的自助服务平台,如OpenShift Data Science。 提供集成的工作流,使用户可以根据实际需要添加开源和自己的工具。 ”

另外,尽管大家走的是商业路线、开源路线,或者是两条路线,但为了将来的发展,请务必确保在转弯空之间。 AI/ML生态系统每秒发展很快,我们自身的战略也有可能随时发生变化,必须事先做好计划。

Reznik最后说“ 请不要把自己束缚在供应商身上。 我们必须最大限度地发挥各种开源解决方案的优势,以避免满足供应商所面临的少数选择。 方案的多样性越高,我们的团队就越有创新的可能性。 ”

【编辑推荐】

人工智能以完美的结果再现擦除的图像。 一个革命性的新人工智能程序可能很快会让你相信它可以重现图像中所有缺失的部分。 美国技术公司英伟达(Nvidia)推出了一种编辑复杂图像的新方法,该方法使用神经网络填充空白色,以逼真的效

2021年5月人工智能领域融资活动一览表随着科学技术的进步,智能化产品逐渐融入日常生活,人工智能成为当今时代发展的潮流。 在这一背景下,越来越多的企业加入了人工智能发展大军,得到了市场资本的高度青睐。 过去5月,业界

Forrester预测2021年人工智能会大放异彩。随着新型冠状病毒遍布世界各地越来越多的公司面临着与以前不同的许多新问题。 例如,您如何保持企业对客户需求变化的响应? 如何适应行业的下一条增长曲线? Forrester预测2021年人工智能会大

人工智能帮助开发新材料目前,国外已经有人工智能辅助开发新材料的案例报道。 利物浦大学的研究人员在8天内自主设计了化学反应课程,完成了688个实验,发现了高效的催化剂,开发出了提高聚合物光催化性能的机器

666! 波士顿的机器狗已经会跳舞了,网友叫道:“我等不及拿着它了。”本文由雷锋网转载,必要时转载到雷锋网官网申请授权。 666! 波士顿的机器狗已经会跳舞了,网友叫道:“我等不及拿着它了。” 和朋友跳舞的时候,突然出现了波士顿的机器狗。 什么感觉? 就

上一篇:人工智能未来的前景和趋势是什么?

下一篇:没有了

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游