Home

AI 杂记 2

The thought of every age is reflected in its technique.
- Norbert Wiener

先从 J. C. R. Licklider "Lick" 谈起：他本身不是 AI 领域的专家，但他是现代计算机和互联网概念的推动者，也有着令人迷惑的学术背景。

Lick 和其他计算机先驱不同，他虽然本科拿到了物理学、数学和心理学的三个学位，但从硕士开始，就是开始在心理学方向深造，博士则是在心理声学（psychoacoustics）方向研究——这是一个心理学分支，主要研究人类对声音的感知。1942 年毕业后，他进入哈佛大学的心理声学实验室担任研究员，彼时的一个重要研究方向是，如何让战斗机中的飞行员不至于在巨大的飞行噪声中更清晰的接受耳机中的指令。在研究中，Lick 意外的发现，可以通过提高部分单词的频率（Peak-clipping）来让飞行员更好的接受信息，操纵机器。

这个例子带来的启发是：机器和人可能存在一种共生关系，而这正是 Lick 后来最重要的著作 Man-Computer Symbiosis 的主题。The Dream Machine 一书中这样写道：

Virtually all the other computer pioneers of his generation would come to the field in the 1940 s and 1950 s with backgrounds in mathematics, physics, or electrical engineering, technological orientations that led them to focus on gadgetry—on making the machines bigger, faster, and more reliable. Lick was unique in bringing to the field a deep appreciation for human beings: our capacity to perceive, to adapt, to make choices, and to devise completely new ways of tackling apparently intractable problems. As an experimental psychologist, he found these abilities every bit as subtle and as worthy of respect as a computer’s ability to execute an algorithm. And that was why to him, the real challenge would always lie in adapting computers to the humans who used them, thereby exploiting the strengths of each.
他这一代的所有其他计算机先驱将在 1940 年和 1950 年代以数学、物理或电气工程的背景来到现场，技术取向，使他们专注于小工具——使机器更大，更快，更可靠。 Lick 在为人类的深刻欣赏中带来了独特之处：我们有能力感知，适应，做出选择，并设计出全新的解决明显棘手的问题的新方法。作为一名实验心理学家，他发现这些能力都是微妙的，值得尊重，就像计算机执行算法的能力一样。这就是为什么对他来说，真正的挑战总是在于将计算机适应使用它们的人类，从而利用每个人的优势。

Lick 逐渐对信息技术产生更浓厚的兴趣，并于 1950 年离开哈佛大学，以副教授的身份加入 MIT，并参与建立了 MIT Lincoln Laboratory。这个实验室是由美国国防部资助的研究中心，目的是加快最新科学研究成果在国防上的应用。Lick 主要在这个实验室中的 SAGE 计划中主持有关人机界面部分的工作。而推动这一系列研究的背后推手，正是后来向总统谏言「科学：无尽的前沿」的 Vannevar Bush。

在热战转向冷战的这一段时间，整个美国社会对于科学研究的态度和今天是大不相同的。在胜利的欢愉和潜藏威胁的不安之间，更重要的是一种建设和发明的自豪感。无论是 Harvard 还是 MIT，在宽裕的科研预算支持下，密集而开放的思想氛围让天才们如群星般闪耀。也只有在这样的环境下，Norbert Wiener 才有可能讲出本文开头那样的话语，并写出 Cybernetics 这样的巨作。在 MIT 的校园里，Wiener 以他的「维纳小径」著称——他可能突然出现在你面前，然后开始讨论问题。他用这种戏剧化的方式，让思想以一种看似无序的方式流动并重新组织，最终产生了意想不到的结果。比如 John von Neumann，另一位欧洲移民来的天才，早在 1946 年就和 Wiener 一起深入讨论了神经网络的基本模型。再如 Claude Shannon，在 Wiener 的影响下，提出了信息理论中最重要的概念「熵」，1951 年的论文 Prediction and Entropy of Printed English 为后来的自然语言处理技术奠基。Wiener 还帮助 MIT 招募了 Warren Sturgis McCulloch 和 Walter Pitts 等人，建立了一支融合了神经心理学、数学和生物物理学的认知科学研究团队，为后来的人工智能研究奠定了基础。

Wiener 和 Shannon 在信息理论上的突破反过来影响了实验室里的 Lick。

Lick, for his part, was embracing his systems-engineering approach to the brain more enthusiastically than ever. To his mind, cybernetics in general and information theory in particular were lighting the way toward a “hard-science” psychology, one that would be far richer, more satisfying, and more productive than anything that had ever come out of behaviorism.
就 Lick 而言，他比以往任何时候都更热情地拥抱他对大脑的系统工程方法。在他看来，一般而言的控制论和信息理论尤其是在朝着“硬科学”心理学的方式照明方式，这种心理学将比行为主义更加丰富，更令人满意，更有生产力。

Lick 开始在项目中采用信噪比这样的信息论概念。McCulloch 和 Pitts 则证明可以用神经网络的方式实现了 Alan Turning 的「图灵机」设想。正如科学历史学家 William Aspray 写道：

With the Turing machines providing an abstract characterization of thinking in the machine world and McCulloch and Pitts’s neuron nets providing one in the biological world, the equivalence result suggested a unified theory of thought that broke down barriers between the physical and biological worlds.
图灵机提供了机器世界中思维的抽象表征，麦卡洛克（McCulloch）和皮茨（Pitts）的神经网络则在生物学世界中提供了另一个表征，这个等效的结果表明，统一的思想理论打破了物理和生物学世界之间的障碍。

-

尽管在波士顿出生，但 John McCarthy 不得不随着父母在萧条年代不断的搬家，最终来到了西海岸的加州。他在 Caltech 拿到了本科学位，并在求学期间聆听了 John von Neumann 的讲座，启发了他后来的学术生涯。1955 年，在 Princeton 博士毕业不久，McCarthy 接受了 Dartmouth 的副教授职位。在那里，他向洛克菲勒研究所提交了一份提案，希望获得资金来在 Dartmouth 开办一所暑期学校。1956 年夏天，这所暑期学校开张了，我们今天所知的「人工智能」(artificial intelligence) 一词就是在彼时创造出来的。1956 年，也被称为「 人工智能学科诞生元年 」。

在 Michael Wooldridge 的人工智能全传中，他这样评价 Dartmouth 暑期学校对 AI 发展的作用：

达特茅斯暑期学校之后那些年是人工智能令人兴奋的成长期，并且，在某段时间里似乎处于飞速发展状态。几十年里，四名暑期学校的成员主导着人工智能的发展。麦卡锡本人在斯坦福大学创立了人工智能实验室，位于现在的硅谷中心地带，马文·明斯基 (Marvin Minsky) 在马萨诸塞州剑桥市的麻省理工学院也创立了一个实验室，艾伦·纽维尔 (Alan Newell) 和他的博士生导师赫伯特·西蒙 (Herbert Simon) 则去了卡内基-梅隆大学。这四位天才带领着他们的学生建立的人工智能系统，是我们这一代人工智能研究工作者的图腾。

1956 年秋天，McCarthy 加入了 MIT，随后的 1959 年，Minsky 也加入了他。而 Newell 和 Simon 则开发了 Logic Theory Machine（又称 Logic Theorist），被称为是第一个人工智能程序。它让计算机来整理和排列符号，以模拟人类智能的逻辑推断。这个程序成功证明了数学原理第 2 章中的前 52 个定理中的 38 个，当中定理 2.85 的证明实际上比罗素和怀特黑德手抄的证明更优雅。有趣之处在于，Simon 本人是一位政治科学家，以研究组织和决策理论为主（后因「有限理性」理论获得了诺贝尔经济学奖）。Newell 和他在 RAND Corporation 的程序员同事 Clive Shaw 编写了程序。

Logic Theorist 采用了搜索树算法，进而引入了「组合爆炸」问题，其实就是在无限的选择和有限的算力之间如何进行选择的问题。人工智能全传中写道：

在人工智能发展初期，组合爆炸被认为是根本性问题，麦卡锡将其确定为 1956 年人工智能暑期学校的重要研究课题之一。人们的关注点主要集中在提高搜索效率上，对此，有几种不同的解决方案。一种是以某种方式集中搜索。其中一种典型的方式是并非逐级建立完整的搜索树，而是沿着其中一个分支构建搜索树。这种方式被称为深度优先搜索。通过深度优先搜索，我们沿着一个分支往下扩展，直到得到解决方案或者确信无法得到解决方案。如果遇到困难 (比如类似图 4 中最左边的分支，又回到一个已经出现过的状态)，那么我们就停止在该分支上的扩展，返回到上一级，选择另外的分支。
要想使用深度优先搜索，首先我们得确认哪个分支最值得搜索。这时候，我们就需要启发式搜索来帮忙了。启发式搜索的概念就是使用所谓的“经验法则”来指导搜索的重点。通常我们也无法寻找到直指正确搜索路径的启发式方法，但我们往往可以在感兴趣的问题上找到启发式搜索方向。

Logic Theorist 的另一项遗产是：其使用的编程语言 IPL 后来称为 McCarthy 发明的 Lisp 编程语言的基础，至今仍然在 AI 研究中使用。

然而，组合爆炸问题并未在随后的十多年中得到很好的解决。英国应用数学家 James Lighthill 在 1973 年向英国科学研究委员会（British Science Research Council）提交了 Artificial Intelligence: A General Survey（又称 Lighthill 报告），认为组合爆炸是人工智能领域无法解决的关键问题之一，英国政府随即大幅降低了对 AI 研究的投入。

无独有偶，1969 年，Marvin Minsky 和 Simon Herpert 出版了一本理论著作 Perceptrons（感知器），旗帜鲜明的反对了 Minsky 的高中同学、心理学家 Frank Rosenblatt 在人工神经网络研究上的观点，认为这个研究方向存在重大的局限性。而在此之前，Rosenblatt 已经证明感知器可以在有限多个训练周期中学习其参数可以体现的任何任务，他认为，神经网络将很快可以理解图像，并在国际象棋上击败人类。而当时最大的瓶颈就是算力。这本书的出版很快为神经网络研究的前景泼了一盆冰水。

Minsky 的著作为他赢得了巨大的声誉，也对 AI 研究的方向产生了重大影响。神经网络研究停滞不前。AI 进入寒冬。

Stanford 的博士毕业生 Douglas Lenat 身处这次寒冬之中（他的毕业论文委员会中包含了 McCarthy、Simon 和 Newell 等一众熟悉的名字）。70 年代末期，他分别在 Carnegie Mellon 和 Stanford 担任助理教授，并着手研究启发式理论。他创建的 AM（Automated Mathematician）被认为是最早成功的启发式系统之一，基于 AM，他进一步开发了 Eurisko。

1984 年，Lenat 发表了对 AM 和 Eurisko 研究路线的局限性的彻底而坦率的分析。他得出的结论是：

迈向真正的、通用的、象征性的人工智能需要一个巨大的「常识」知识库，适当地形式化和表示，以及一个能够找到数十或数百个结论和论点的推理引擎，这些结论和论点是从该知识库应用于特定问题和应用 ... 呼吁大规模（数千人年，长达数十年）的研发工作来打破人工智能的瓶颈 ...

这些呼吁导致了他后来加入 Microelectronics and Computer Technology Corporation (MCC) 成为首席科学家，在 400 人的 MCC 中，Lenat 能够让几十名研究人员在这个常识知识库上工作，而不仅仅是几个研究生。

经过十年的努力，1994 年，MCC 中拆分出了 Cycorp，其主要产品就是一项基于数十万条规则和 1000 人年投入构建的 Cyc。到 2017 年，Cyc 已经创建了 2400 万条规则和 2000 人年的投入。美国政府资助了这项规模庞大的研究。如果你去访问 Cycorp 的网站，会感受到沉重的年代感——显然它已经不是这个时代的答案。

「人工智能全传」一书如此评价 Cyc：

从某种意义上说，Cyc 项目是领先于时代的。Cyc 项目开始 30 年以后，谷歌发布了知识图谱，这是一个庞大的知识库，知识图谱里面汇集了大量关于实体世界的信息 (地点、人物、电影、书籍、重大事件等)，这些信息被用来丰富谷歌搜索引擎的查找结果。当你使用谷歌搜索引擎时，你所查找的东西通常会涉及一些实体的名称或者其他术语之类。举个例子，如果你搜索“麦当娜”，简单的网络搜索结果会返回包含“麦当娜”这个关键词的网页。但是，如果搜索引擎知道麦当娜是一名流行歌手，以及她的全名是麦当娜·路易斯·西科尼 (Madonna Louise Ciccone)，就会返回一些更有价值的东西。所以，你在谷歌上搜索“麦当娜”就会发现，你的搜索结果包含了这位歌手的一系列信息，这些信息会回答人们有关她的常见问题 (比如出生年月、孩子状况、最受欢迎的专辑等)。Cyc 和谷歌知识图谱最关键的区别在于，知识图谱中的知识并非手工编码的，而是自动从维基百科等网页中提取出来的。到 2017 年，据称维基百科包含 700 亿条名词，涉及大约 5 亿个实体。当然，知识图谱并没有以通用人工智能为目标，目前也不清楚它涉及了多少基于知识系统的至关重要的世界观推理。不过，不管怎么说，我认为，知识图谱多多少少还是携带了 Cyc 的基因。

Google 的知识图谱很大程度上得益于互联网的诞生，而这又要感谢 Lick 等先驱打造相互连接的计算机的愿景：to connect all their individual computers and time-sharing systems into a single computer network spanning the continent. Lenat 的 Cyc 或许是生不逢时，也同时是其资金来源和组织形式，在封闭体系中试图构建「常识知识库」，是选择了一种不可能的实现路径。

Lenat 的路线是基于「符号」运算的，而人类语言和现实世界难以用有限的规则来概括，最终导致规则数量的「爆炸」。今天我们所熟知的「神经网络」和「深度学习」显然不是基于「符号」和「规则」的——这正是 Minsky 和 Ronsenblatt 论战的焦点。路线之争，往往是认知之争。AI 到底是给机器以人性（神经网络和深度学习），还是给人性以机器（符号、逻辑和规则），往往是由于当时的基础资源所决定的，而这些基础的能力和资源，无非是算力和数据。而在每一个时代，当时的人对这两项资源的认知程度必定受到局限——这也正是本文开头引用的 Wiener 的话所预言的。

在「千脑智能」一书中，Jeff Hawkins 结合了神经科学和人工智能研究，提出了更深入的认知大脑工作原理的理论：

这里，我们意识到，通过神经科学对人类大脑的研究和理解，更容易让 AI 研究逼近它可能达到的极限。而这也正是在计算能力和数据资源在过去数十年的快速发展基础上实现的。

「人工智能全传」一书中写道：

深度学习不仅仅体现在“深度”上，还能够享受神经元数量剧增的益处。一个典型的 1990 年的神经网络可能只有大约 100 个神经元 (如果你没忘的话，人类的大脑大约有 1000 亿个神经元)。这样的网络在处理具体问题上显然十分具有局限性。到了 2016 年，先进的神经网络已经拥有大约 100 万个神经元了（这个数量和蜜蜂的大脑大致相同）。
最后，深度学习使用的深层次网络中，神经元本身的连接数量也十分可观。在 20 世纪 80 年代出现的高度连接神经网络中，每个神经元可能与其他神经元产生 150 个连接。到了撰写本书的时候，最先进的神经网络中的神经元，已经和猫的大脑神经元连接数相当了。而人类的神经元平均拥有 10000 个连接。

这意味着机器将更接近于人脑在神经元数量和连接密度上的规模，而互联网则以一种及其浪漫的方式造就了规模空前而又彼此连通的数据海洋。

Lick 那个年代的心理学家最为纠结的，正是如何处理自己的学术身份：他始终未能成功的以「硬科学」的设定在 MIT 成立心理学系（MIT 的心理学系成立于 1964 年，隶属于 School of Humanities, Arts, and Social Sciences）。而今天看来，理解我们自身和理解机器同等重要。

← Back to Newsletter Archive