河洛网首页 新闻 关注 房产 汽车 教育 健康 婚庆 家居 旅游

| 人工智能

娱乐 体育 财经 科技 人工智能

深入学习的下一阶段:神经架构自学习带来优秀的计算机视觉模型。

来源:河洛网    发布时间:2019-09-06     发布人:洛阳新闻网

深入学习的下一阶段:神经架构自学习带来优秀的计算机视觉模型。

深度学习是人工智能模型的先驱。从图像识别和语音识别到文本理解甚至自动驾驶,深入学习的出现极大地丰富了我们对人工智能潜力的想象。

那么,为什么深入学习如此成功?

主流思想认为,深度学习成功的一个重要原因是它不依赖人类直觉来构建或表示数据特征(视觉、文本、听觉......),而是构建一个神经网络体系结构,从源头上学习这些特性。

关键词是特征。从特征工程到特征搜索再到特征学习& mdash& mdash进步的每个阶段都可以带来巨大的绩效改进。

自&ldquo。特点和现状。那么还有很多事情要做。网络结构与现状;我们能从同样的经历中学习吗?

是的,你可以!

艾伦人工智能研究所的最新研究支持了这个新颖的想法。他们的最新研究表明,从计算机中学习到的神经网络结构可以比人类设计的更好。

在培训过程中,他们的网络可以灵活地改变网络架构& mdash& mdash它不仅学习网络参数,还学习结构本身。所学的体系结构非常稀疏,因此它将是一个小得多的模型,在计算方面具有高精度。

在高效稀疏计算硬件蓬勃发展的环境中,这可能是深层学习模型下一个发展阶段的重要触发因素。

在了解他们的最新成果之前,让我们回顾一下计算机视觉技术领域人工智能模型从20年前到深度学习时代开始的关键发展阶段。同样的趋势也反映在其他深度学习领域。

计算机视觉三个发展阶段

特色工程阶段

尝试在图像中手动找到携带图像语义的高维向量。成功的例子包括SIFT、HOG、ShapeContext、径向基函数和交集核。这些特征和功能是基于对人类视觉识别过程的模拟。这是当时计算机视觉技术背后的基础科学。经过几年直觉驱动的研究,计算机视觉技术科学家未能开发出新的功能,这使该领域进入了第二阶段。

在深度学习出现之前,特征工程是计算机视觉的基础科学。

特征搜索阶段

也称为自动搜索过程,它通过组合不同的可能特征或内核功能来提高特定应用程序(例如对象分类)的准确性。一些成功的方法包括特征选择方法和多核模型。尽管这些过程计算量很大,但它们可以提高计算机视觉模型的准确性。另一个主要限制是搜索空之间的构建块(特征函数)是基于人类视觉识别的直觉手动设计的。然而,一些研究表明,人类可能无法准确区分物体类别。

例如,你能解释你如何区分狗和猫吗?你选择的任何特征(例如耳朵上的定义,或者眼睛的形状和颜色)对猫和狗来说都是常见的,但是看着照片就能立刻分辨出它是狗还是猫。这导致一些科学家放弃传统的自下而上的模式,设计特征驱动的计算机视觉模型,转到计算机自己设计特征识别的阶段。

特征组合和多核模型(图片来自卡瓦克等人ISACS2013)

特色学习阶段

这是从高维向量空自动确定视觉特征的阶段。这个过程使计算机能够通过解释图像的内容来执行特定的任务,例如对象分类。深层卷积神经网络的发展使这种能力成为可能。由于在特征设计过程中没有人为干预,这种算法也被称为端到端模型。事实上,因为这个过程计算量很大,并且需要大量的数据来训练底层的神经网络,所以人类很难解释它的结构特征。随着并行处理器硬件(如图形处理器和TPU)的进步和大规模数据集的可用性,这是可能的和成功的。

通过深层神经网络进行特征学习

太神奇了。深入学习似乎能够独立工作。在这种情况下,计算机视觉科学家需要扮演什么角色?!

展望未来

想象一下如果我们使用& ldquo建筑与现状。替换& ldquo特点和现状。这个词,结合以上三个阶段,可能可以解释未来深入学习的发展趋势。

建筑工程

这与& ldquo有关。特色学习。这些阶段几乎是相同的。卷积神经网络体系结构需要为特定任务手动设计。主要原则是简单但更深(即更多层)的架构可以实现更高的精度。在这个阶段,设计架构和训练(网络优化)技术是计算机视觉(和许多其他DCNN应用)的主要目标。这些网络设计是基于对人类视觉识别系统的认知。一些成功的建筑设计包括AlexNet、VGGNet、GoogleNet和ResNet。这些模型的主要局限性在于计算的复杂性。他们通常需要运行数十亿次算术运算(浮点运算)来处理单个图像。在实践中,为了使模型运行得足够快,通常需要图形处理器并且消耗大量的能量。因此,现代人工智能模型主要通过强大的云服务器来实现。

这促使科学家设计出更高效的人工智能模型,可以在边缘设备上运行。一些成功的模式包括:Xnor-net、Mobilenet和Shufflenet。类似于&ldquo。特征工程。在那个阶段,几年后,在江郎筋疲力尽的研究人员转向& ldquo搜索& rdquo。舞台。

深入学习出现后,计算机视觉背后的基础科学成为网络架构设计(约瑟夫·科恩的照片)

模式搜索

这是目前最先进的人工智能模型。主要原理是使用先前成功构建的构造块,并尝试自动搜索这些块的组合来构建新的神经网络架构。它的主要目标是构建一个需要少量计算的高精度架构。一些成功的神经架构搜索方法包括NASNet、MNASNe和FBNet。由于其可能组合的搜索空非常大,与标准深度学习模型相比,训练这些模型需要更多的计算和数据。类似于&ldquo。特征搜索。在这个阶段,这些模型还受到基于人类直觉的构建模块的手工设计的限制。根据以往的经验,人类对如何设计神经架构的直觉不如计算机。最近的研究表明,随机连接的神经网络优于几种人工设计。

总之,很明显,深入学习的下一阶段是让计算机设计自己的体系结构。

搜索不同有线电视新闻网构建模块的组合,构建更好的有线电视新闻网模型

建筑学习阶段

最近,我们在Xnor.ai和艾伦人工智能研究所建立了一个名为发现神经连线的新模型,用于直接从数据中自动学习神经网络体系结构。在该模型中,我们将神经网络设置为无约束图,并放宽层的概念,以便节点(例如图像的通道)可以彼此形成独立的连接。这将使可能的网络空变大。培训期间,网络建设不固定& mdash& mdash它不仅学习网络参数,还学习结构本身。网络结构可以包含图中的循环,即形成存储器结构的概念。所学的体系结构非常稀疏,因此它将是一个小得多的模型,在算术运算方面具有高精度。

代码:

https://github.com/allenai/dnw

当然,类似于& ldquo特色学习。在第二阶段,这一深入学习阶段需要大量的训练计算来处理大地图,并且需要大量的数据。我们坚信,随着稀疏图形计算专用硬件的发展,自动寻找最佳网络架构的技术将会越来越成熟,实现高精度、高效率的计算边缘人工智能模型指日可待。

学习神经架构的过程:从数据中找到完整神经图中神经元之间的最小联系

链接:

http://medium . com/xnor-ai/下一阶段深入学习-神经架构-学习-自动发现-神经-d08fc9a6065d

[编辑建议]

免责声明:非本网注明“禁止转载”的信息,皆为程序自动获取互联网,目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责;如此页面有侵犯到您的权益,请给站长发送邮件,并提供相关证明,站长将在收到邮件24小时内删除。

热门标签

洛阳新闻网 | 新闻 | 关注 | 房产 | 汽车 | 教育 | 健康 | 婚庆 | 家居 | 旅游