Keras之父历时2年力作，64页论文探讨智能如何评估

---

  新智元报道  

来源：Twitter、arXiv

编辑：肖琴

【新智元导读】谷歌AI研究员、Keras之父François Chollet历时2年的力作近日发布，在长达64页的论文中，他深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。你赞同Chollet的观点吗？来新智元 AI 朋友圈和AI大咖们一起讨论吧。

谷歌AI研究员、Keras之父François Chollet近日发表一篇长达64页的论文，深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。

与此同时，Chollet还发布了一个新的AI评价数据 集“抽象推理语料库”(Abstraction and Reasoning Corpus)，简称ARC 。Chollet表示，在过去的2年里，他一直断断续续地在做这件事。

在新智元小程序获取论文：

论文的主要内容包括：

1) 回顾历史，我们如何定义和评估AI

2) 对“智能”(Intelligence)的新的正式定义，以及对“通用AI的基准”（general AI benchmark）应该是什么样子的具体指导原则

3) 介绍ARC的目标及其背后的逻辑。

Chollet说，这个定义是他试图将过去10年来的思考和讨论(演讲、Twitter、对话等等)正式转化为一些有用、可行的东西的尝试。ARC这个新的AI评价数据集引导他朝着非常有趣的研究方向发展，因此也希望读者发现它有用。

Chollet强调，论文中提供的定义并不是“唯一正确的”定义。那不是重点。因为智能是复杂的，在不同的背景中可能意味着不同的东西。“智能”或“人工智能”的多种定义都可能是有效的。

Chollet最近还在一个算法上取得了很好的进展，这个算法至少能够解决部分ARC，基于一个他研究了很长时间的认知理论(autonomous abstraction)。Chollet表示将尽快分享这些想法和代码。

这个理论自2009年以来一直在酝酿之中。它借鉴了ONEIROS项目(开放终端神经电子智能机器人操作系统)的重要元素，这是Chollet从2009年到2012年(在2014年短暂地再次参与)一直在开发的一个通用AI架构，但后来大部分都被放弃了。

ONEIROS是从一个经典的RL思想开始的，集中于1)学习时空特征的模块化层次“maps”(使用PMI矩阵分解而不是梯度下降)，2)通过注意力机制的形式进行上下文切换，以及3)内在动机(好奇心)。

其基本想法是“认知是一种感知运动信息空间的动态的、层次-模块化的地图”。因此，Chollet还把它称为 “map theory” 。

Chollet认为ONEIROS做了很多正确的事情(特别是考虑到当时的情况——主要是在2010年设计，并在2012年尝试对其进行简化)，但最终它没有触及最重要的一点： 抽象的本质 。

这就是“The Measure of Intelligence”这项工作正在做的，ARC正是触及了“抽象的本质”。

有意思的是，“Keras”这个名字来自ONEIROS：

“Chollet 创建了 Keras 作为开放式神经电子智能机器人操作系统 (ONEIROS) 机器人研究项目的神经网络的 API。ONEIROS 这一名称是对古希腊史诗《奥德赛》的致意，在这部史诗中，神话人物Oneiroi（Oneiros 的单数形式）为人类指明了两条进入梦境的路：一条路穿过宏伟的象牙之门进入噩梦，另一条路则穿过低矮的兽角之门，最终呈现一片神圣的景象。Keras 在希腊语中意为角，这个名称非常合适，因为 Keras API 旨在为与神经网络协同使用提供一条捷径。”

“The Measure of Intelligence”论文发表后，在Twitter、Reddit等社区得到很多关注，有人评价“有趣”、“必读的好文章”，也有人质疑这项研究是否必要。

论文内容结构

Google机器学习研究员Emil Wallner带来了不错的总结和解读，一起来看。

为了推进AGI，我们需要量化和评价其技能获取效率

François Chollet的核心观点是： 我们不能通过衡量其对特定技能的掌握程度来评价一个AI系统的适应性和灵活性 。

只要数据足够多，模型就能靠“记忆”实现决策。为了推进AGI，我们需要量化和评价其*** 技能获取效率 ***。

在20世纪70年代，许多人认为国际象棋反映了人类理性思维的全部范围。用计算机下棋就能达成认知理解的重大飞跃。但是，在IBM的DeepBlue之后，他们意识到计算机并没有更好地理解人类的思维。

IBM的DeepBlue并不“智能”，但我们认为掌握国际象棋的人是有智能的。这是因为我们将国际象棋与一种元技能(meta-skill)联系在一起，元技能是一种用于数学和推理等逻辑任务的能力。我们经常以类似的方式将AI系统拟人化：掌握任务= AGI。

同样，Chollet认为DeepMind的围棋AI AlphaZero既不灵活也不通用。他将其与使用局部敏感哈希函数的哈希表进行比较，通过无限的模拟，你可以用动作来映射棋盘的位置。

Chollet认为，当前的以任务为中心的智能观点是推进AGI的瓶颈所在。相反，我们应该采用Hernandez-Orallo的观点：

“人工智能是一门让机器完成它们从未见过、也没有事先准备好的任务的科学和工程技术。”

当人类接受不同的认知测试时，得到的结果是彼此相关的。这表明人类具有学习技能的基本元技能，即“g因子”(g-factor)。这些是Chollet认为评价AI需要衡量的能力，从Broad Generalization开始。

在II.2节， Chollet 正式阐述了他的中心思想：

“一个系统的智能是对其在一定任务范围内的技能获取效率的衡量，与先验、经验和泛化难度相关。”

下面是“技能获取效率”的概述。“Task”可以是国际象棋，“Situation”是一个棋盘位置，而“skill program”是一个固定的国际象棋引擎。可以将智能系统看作是不同任务的程序综合引擎。

Chollet使用算法信息论(Algorithmic Information Theory)来量化程序和交互：

“智能是学习者将自己的经验和先验知识转化为新技能的速度，这种新技能的价值在于不确定性和适应性。”

为了避免局部通用系统人为地“购买”特定任务的表现，Chollet将先验知识限制在发展科学理论中发现的“核心知识”：比如基础物理、算术、几何学和对意图的基本理解。

Chollet根据他概述的最佳实践ARC创建了一个数据集。该数据集模拟了IQ测试(流体智能)中的抽象和推理部分。

下面是几个例子：

ARC数据集包含400个训练任务和600个评估任务。

主要特点:

• 评估集中只有新的任务

• 高度抽象

• 类似于人类智商测试

• 每个任务有3个演示

• 固定/有限的训练数据

• 一组明确的先验条件

https://github.com/fchollet/ARC

向@fchollet致敬，感谢他为AGI的发展提出了清晰可行的建议。这是一篇必读论文！

新智元AI朋友圈详细使用教程，8000名AI大玩家和实践者都在这里！