河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

机器学习模型是否太大而无法部署?这里有3个解决方案

来源:河洛网    发布时间:2020-03-14     发布人:洛阳新闻网
【金融特辑】光大银行科技部DBA女神带你从0到1揭秘MGR

这篇文章来自雷锋网。如需转载,请在雷锋网官方网站申请授权。

机器学习模型是否太大而无法部署?这里有3个解决方案

尽管由于& ldquo疫情。结果,技术人员放弃了聚会,减少了面对面的交流。然而,他们对学习和交流的渴望从未停止过。为此,华为专门推出了# & SigmaCo时间#系列,以在线直播+互动的形式,谈论技术变革和产业转型。

3月4日下午3: 00,本期# & Sigma协同时间#关注主题& ldquo大数据存储是积分或& lsquo他和你做对了吗?&rdquo。& mdash& mdash华为智能数据和存储分布式存储高级营销专家崔玉祥来到华为。智能数据基础设施“数学学校”。工作室分享了华为对存储与计算分离价值的看法,以及华为对大数据存储与计算分离的解决方案和应用实践。并与成千上万的网上访客讨论了存储与计算分离的发展趋势和市场前景。

在数字经济时代,大数据架构正在向存储和计算发展。崔玉祥表示,在数字经济时代,数据已经成为一种新的生产手段,并正在从数据管理向数据运营转移。大数据正在发挥越来越重要的作用。数据驱动体验、数据驱动决策和数据驱动过程的各种应用每天都在不断地被执行。随着5G和人工智能技术的发展,数据量肯定会达到爆炸式增长。在这种情况下,传统的大数据存储与计算集成架构面临着资源利用率不均衡、存储成本高、资源共享困难的挑战。

以国内电信运营商为例,年市场购买量高达上亿元。然而,在支持电信服务方面如此巨大的投资也带来了许多挑战,例如计算资源的浪费、占用房间的巨大服务器设备空以及制冷和供电的高成本。降低成本,提高效率。成为电信运营商的重要需求。同样,提高资源利用率、灵活部署和按需调度计算资源的需求已经成为金融和政府领域用户迫切需要解决的问题。

如何解决如此多的挑战?崔玉祥认为,计算和存储分离是大数据架构演进的必然趋势,也是解决行业用户数据痛点的有力工具。他解释说,在Hadoop1.0时代,计算和存储高度集成,只能处理一个MapReduce分析业务。在Hadoop2.0时代,计算层开始从数据中分离出来,通过纱线实现独立的资源管理,并开始支持更多的计算引擎,如Spark。但是现在它已经到了Hadoop3.0时代。计算存储正走向分离。Hadoop EC用于支持冷数据的存储,并逐渐演变为数据湖架构。&ldquo。事实上,存储和计算的分离更适合企业级市场。它实现了资源的云化和灵活扩展,使用户能够享受更专业的存储以及更好的可靠性和利用率。&rdquo。

三大优势令华为OceanStor分布式存储更懂用户

2019年,华为创新性地推出了大数据存储和计算分离解决方案。崔玉祥向观众详细解释了华为海洋存储分布式存储,这是一种可以创造更高性价比的大数据存储解决方案。它只是为具有多种类型存储和巨大数据量的用户定制的。&ldquo。综上所述,华为海洋存储分布式存储具有最鲜明的三个特点:最佳成本、最高效率和最简单的使用。&rdquo。

[成本优化]在成本方面,华为海洋存储分布式存储实现了存储与计算分离,资源按需独立扩展,灵活的电子商务+分类,大大降低了存储成本。&ldquo。性能、可靠性相当于HDFS的三份拷贝,但存储利用率是三份拷贝的1.75倍。&rdquo。崔玉祥还特别指出,OceanStor分布式存储可以通过自动生命周期管理实现更好的性价比,而计算方面却没有任何概念。用户可以定义不同的数据写入策略,使不同类型的应用程序能够读写不同的存储池,从而实现资源的最佳利用。用户还可以定义数据迁移策略,以实现热数据、热数据和冷数据的自动转换,并降低总体拥有成本。

他以上述电信运营商为例,在运营商日志保留的情况下,当计算利用率为30%,总容量需求大于256TB时,切换到存储-计算分离方案将具有总体拥有成本优势。当总容量需求超过2PB时,存储计算分离方案的总体拥有成本节约将达到40%以上。

[最高效率]在数据应用效率方面,华为海洋存储分布式存储采用完全对称的分布式命名节点。集群性能和支持文件的数量随着节点数量的增加而增加,单个名称空之间的支持文件数量达到数百亿。不仅如此,华为还实施了多集群数据集成和互操作性,提高了数据共享和分析效率。协议互操作性进一步提高了30%的分析效率,将空之间的占用率降低了50%。&ldquo。在一个金融客户的应用测试中,基于相同的计算和存储硬件配置,OceanStor的存储和存储分离方案在大多数测试中均优于原HDFS的三个副本,甚至将一些测试项目的执行时间减少了70%以上。&rdquo。

[最少使用]在实际操作和维护方面,华为的本土HDFS接口提供了更好的性能和使用体验。例如,完整的HDFS语义与主流大数据组件100%兼容,用户不需要安装插件,安装和维护简单。更重要的是,新旧共存可以通过ViewFS或Hbase元数据网关来实现,以保护用户的现有投资,系统级数据冗余保护可以支持4个节点同时发生故障。崔玉祥特别强调,即使发生节点故障,华为海洋存储分布式存储也能自动调整电子商务级别,确保新写入数据的可靠性不会下降。同时,多节点并行重建可以实现2TB/小时的数据恢复效率。

存算分离,助力千行百业大数据进阶

自2019年以来,华为海洋存储分布式存储解决方案已广泛应用于电信、金融、政府事务和大型企业等各个领域。在这次直播中,崔玉祥特别分享了两个有代表性的应用案例。

在江苏,最初的政府系统大多采用烟囱部署,孤立的数据孤岛比比皆是。然而,随着数据量的快速增长,江苏决定在华为存储和计算分离解决方案的基础上,构建一个具有层次解耦和高效共享的大型数据平台。华为帮助江苏政务系统建设了统一的大数据平台,可以同时支持多种业务,实现部门间快速数据共享,实现政务服务。最多运行一次。在部署中,存储和计算的分离将发挥重要作用。结合云计算资源和存储资源,实现了资源的灵活配置,业务上线时间缩短了90%。与此同时,借助OceanStor分布式存储的灵活电子商务技术,存储利用率从33%提高到91.6%,从容应对数据快速增长的挑战。

河北电信已经部署和安装了89个集成存储和计算的大型数据集群。总存储空利用率超过80%,存储空不足。通常需要通过删除数据来释放存储空间空。此外,现有的计算机房空很紧,只能容纳135台2U服务器,这是根据原来的集成存储和计算方法扩展的。房间空不能满足要求。为此,华为创新性地采用存储与计算相结合+存储与计算分离的解决方案,扩展100个计算节点+35个存储节点,并采用Hadoop数据联盟解决方案(ViewFS),不仅解决了新旧共存的问题,还实现了性能与容量的平衡扩展,可用容量比原解决方案增加了60%。崔玉祥指出,存储与计算分离的方案具有无缝扩展和均衡的数据读写。用户不需要升级现有网络的大数据版本或迁移现有网络数据。

我相信,通过这次直播和华为带来的精彩分享,行业用户将对存计算分离有更深刻的理解,也将对如何选择合适的存计算分离解决方案有一个清晰的认识。

[编辑推荐]

库存:近两年人工智能和机器学习领域的一些收购 随着全球科技巨头加入对* * *人工智能人才和技术的争夺,市场正在蓬勃发展。据统计,仅在2018年,微软就进行了五次人工智能收购,在人工智能市场上处于领先地位。 库存:近两年人工智能和机

大数据和人工智能如何帮助餐饮行业发展? 大数据和人工智能如何帮助餐饮行业发展? 数字化颠覆了几乎所有行业,从金融服务到医疗保健,食品和饮料行业也不例外。从历史上看,厨师和产品开发人员对风味特征、趋势和新食品负有主要

中国人工智能芯片的发展不能“片面” 中国人工智能芯片的发展不能“片面” rdquo。在ldquo。传统的中央处理器和图形处理器芯片使用冯·诺伊曼(Von Neumann)计算架构和基于指令流的计算模式运行,而人工智能芯片大多使用类大脑或类大

中国人工智能企业占全球融资总额的70% 今年以来,人工智能的发展迎来了新一轮高潮。与此同时,市场和需求日益细分。市场参与者表示,人工智能商业应用的第一年已经到来。 中国人工智能企业占全球融资总额的70% 从没人关心到投

为了看看女神是否喜欢你,用人工智能机器扫扫她的脸 【线上直播】11月21日晚8点贝壳技术总监侯圣文《数据安全之数据库安全黄金法则》 为了看看女神是否喜欢你,用人工智能机器扫扫她的脸 本文摘自雷锋网。如需转载,请到雷锋网官方网站申请授

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

频道精选

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游