1. 我是CIO首页
  2. 资讯
  3. 人工智能

自动搜索全新的“好奇心”算法

自动搜索全新的“好奇心”算法
麻省理工学院的研究人员使用机器学习来找到全新的编码探索算法。
在这里显示的各种模拟任务和环境中,他们的机器设计算法优于人工设计算法。
图片来源:马丁·施耐德(Martin Schneider)

在与生俱来的好奇心的驱使下,孩子们探索世界并从他们的经验中学到了新技能。相比之下,计算机在投入新环境时通常会卡住。

为了解决这个问题,工程师们尝试将好奇心的简单形式编码到他们的算法中,希望被推动探索的代理能够更有效地了解其环境。有孩子好奇心的特工可能从学习到捡起,操纵和扔东西到理解重力的作用,这种认识可以极大地加速其学习许多其他事物的能力。

工程师发现了许多将好奇的探索编码到机器学习算法中的方法。麻省理工学院的一个研究小组基于计算机长期寻找新算法的历史,想知道计算机是否可以做得更好。

近年来,深度神经网络的设计(通过调整数字参数来搜索解决方案的算法)已通过Google的AutoML和Python中的auto-sklearn等软件实现了自动化。这使非专家更容易开发AI应用程序。但是,尽管深网擅长于特定任务,但它们难以推广到新情况。相比之下,用高级编程语言在代码中表达的算法具有跨不同任务和环境传递知识的能力。

研究的共同作者,麻省理工学院电气工程与计算机科学系以及计算机科学与人工智能实验室(CSAIL)的研究生Ferran Alet说:“人类设计的算法非常笼统。” “我们被启发使用人工智能来找到具有好奇心策略的算法,这些算法可以适应多种环境。”

研究人员创建了一种“元学习”算法,该算法生成了52,000个探索算法。他们发现前两个是全新的-对于人类来说,似乎太明显或太违反直觉了。从基于图像的二维网格导航到机器人蚂蚁行走,这两种算法都产生了探索行为,从根本上改善了一系列模拟任务中的学习。由于元学习过程会生成高级计算机代码作为输出,因此可以分解这两种算法以了解其决策过程内部。

该论文的高级作者是麻省理工学院计算机科学和电气工程学教授莱斯利·卡布林(Leslie Kaelbling)和汤玛斯·洛萨诺-佩雷斯(TomásLozano-Pérez)。这项工作将在本月下旬的虚拟国际学习代表大会上进行介绍。

该论文获得了未参与这项工作的研究人员的称赞。Google的首席科学家Quoc Le说:“使用程序搜索来发现更好的内在奖励是非常有创意的。”他率先开创了计算机辅助深度学习模型的设计。“我非常喜欢这个想法,特别是因为程序是可以解释的。”

研究人员将他们的自动化算法设计过程与用有限数量的单词写句子进行了比较。他们首先选择了一组基本构建块来定义其探索算法。在研究了其他好奇心算法以寻求灵感之后,他们选择了近三打高级操作,包括基本程序和深度学习模型,以指导代理执行诸如记住以前的输入,比较当前和过去的输入以及使用学习方法进行更改之类的操作。它自己的模块。然后,计算机一次最多组合七个操作,以创建描述52,000种算法的计算图。

即使使用一台快速的计算机,对它们进行测试都将花费数十年的时间。因此,相反,研究人员通过首先排除仅基于其代码结构的预测性能较差的算法来限制搜索范围。然后,他们在一项基本的网格导航任务上测试了他们最有前途的候选者,该任务需要大量的探索,但计算量最少。如果候选人表现出色,其表现将成为新的基准,从而淘汰更多候选人。

四台机器搜索了10多个小时以找到最佳算法。超过99%是垃圾邮件,但大约有一百种是明智的高性能算法。值得注意的是,前16名既新颖又有用,在其他虚拟任务(从登上月球车到举起机械臂再到移动类似蚂蚁的机器人)的性能上,都比人类设计的算法好或更好。物理模拟。

所有16种算法共享两个基本的探索功能。

首先,特工在有更多机会采取新举措的新地方获得奖励。在第二种方法中,该特工还因访问新地方而获得奖励,但以一种更细微的方式:一种神经网络学会预测未来状态,而另一种神经网络回忆过去,然后尝试通过预测过去来预测当前状态。未来。如果这个预测是错误的,那么它就会自我奖励,因为这表明它发现了以前不知道的东西。第二种算法是如此违反直觉,以至于研究人员花了很多时间才弄清楚。

“我们的偏见常常使我们无法尝试非常新颖的想法,”阿莱特说。“但是计算机不在乎。它们会尝试并查看有效的方法,有时我们会得到意想不到的出色结果。”

越来越多的研究人员转向机器学习来设计更好的机器学习算法,这是一个称为AutoML的领域。Le和他的同事最近在Google上推出了一种新的算法发现工具,称为Auto-ML Zero。(它的名称是在Google的AutoML软件(用于为给定应用程序自定义深层网络体系结构)中扮演的角色,以及Google DeepMind的Alpha Zero(该程序可以通过与自己进行数百万种游戏来学习玩不同的棋盘游戏)。

他们的方法搜索由更简单的原始运算组成的算法空间。但是,他们的目标不是发现探索策略,而是发现用于对图像进行分类的算法。两项研究都表明,人类有可能自己使用机器学习方法来创建新颖的,高性能的机器学习算法。

麻省理工学院的研究生马丁·施耐德说:“我们生成的算法可以被人类读取和解释,但是要真正理解我们必须通过每个变量和操作进行推理的代码,以及它们如何随着时间演变。” “利用计算机评估大量算法的能力以及我们人类解释和改进这些思想的能力,设计算法和工作流程是一个有趣的公开挑战。”

本文为作者 新然 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论