全球市值第一的AI公司, 怎么就成了“美股最大泡沫”？| 文化纵横（下）

▍为何我们难以达成一致

在 2014 年 BBC 对她职业生涯回顾的一次采访中，现年 87 岁的有影响力的认知科学家 Margaret Boden 被问及她是否认为有任何限制会阻止计算机（或者她所谓的“锡罐子”）去做人类能做的事情。

“我当然不认为原则上存在这样的限制，”她说，“因为否认这一点就意味着人类的思维是靠魔法发生的，而我不相信它是靠魔法发生的。”

但她警告说，强大的计算机本身并不足以使我们达到这一目标：AI 领域还需要“有力的想法”——关于思维如何发生的全新理论，以及可能复制这一过程的新算法。“但这些东西非常、非常困难，我没有理由假设有一天我们能够回答所有这些问题。或许我们能；或许我们不能。”

博登回顾了当前繁荣期的早期阶段，但这种我们能否成功的摇摆不定反映了数十年来她和她的同僚们努力解决的难题，这些难题正是今天研究人员也在努力克服的。AI 作为一个雄心勃勃的目标始于大约 70 年前，而我们至今仍在争论哪些是可实现的，哪些不是，以及我们如何知道自己是否已经实现了目标。大部分——如果不是全部的话——这些争议归结为一点：我们尚未很好地理解什么是智能，或者如何识别它。这个领域充满了直觉，但没有人能确切地说出答案。

自从人们开始认真对待 AI 这一理念以来，我们就一直卡在这个问题上。甚至在此之前，当我们消费的故事开始在集体想象中深深植入类人机器的概念时，也是如此。这些争论的悠久历史意味着，今天的争论往往强化了自一开始就存在的分歧，使得人们更加难以找到共同点。

为了理解我们是如何走到这一步的，我们需要了解我们曾经走过的路。因此，让我们深入探究AI的起源故事——这也是一个为了资金而大肆宣传的故事。

（一）人工智能宣传简史

一般认为，计算机科学家约翰·麦卡锡（John McCarthy）在 1955 年为新罕布什尔州达特茅斯学院 (Dartmouth College)的一个暑期研究项目撰写资助申请时提出了“人工智能”这一术语。

计划是让McCarthy和他的几个研究员同伴——战后美国数学家和计算机科学家的精英群体，或如剑桥大学研究
AI 历史以及谷歌 DeepMind 伦理与政策的研究员 Harry Law 所称的“John McCarthy
和他的小伙伴们”——聚在一起两个月（没错，是两个月），在这个他们为自己设定的新研究挑战上取得重大进展。

McCarthy 和他的合著者写道：“该研究基于这样一个假设进行：学习的每一个方面或智力的任何其他特征原则都可以被如此精确地描述，以至于可以制造一台机器来模拟它。我们将尝试找出如何让机器使用语言、形成抽象概念、解决目前仅限于人类的问题，并自我改进。”

他们想让机器做到的这些事情——Bender
称之为“充满憧憬的梦想”——并没有太大改变。使用语言、形成概念和解决问题仍然是当今 AI
的定义性目标。傲慢也并未减少多少：“我们认为，如果精心挑选的一组科学家一起工作一个夏天，就能在这些问题中的一个或多个方面取得显著进展。”他们写道。当然，那个夏天已经延长到了七十年。至于这些问题实际上现在解决了多少，仍然是人们在网络上争论的话题。

然而，这段经典历史中常被忽略的是，人工智能差点就没有被称为“人工智能”。不止一位 McCarthy 的同事讨厌他提出的这个术语。据历史学家帕梅拉·麦考达克（Pamela McCorduck）2004 年的书《思考的机器》引用，达特茅斯会议参与者及首台跳棋电脑创造者亚瑟·塞缪尔（Arthur Samuel）说：“'人工'这个词让你觉得这里面有些虚假的东西。”数学家克劳德·香农（Claude Shannon），达特茅斯提案的合著者，有时被誉为“信息时代之父”，更喜欢“自动机研究”这个术语。赫伯特·西蒙（Herbert Simon）和艾伦·纽厄尔（Allen Newell），另外两位 AI 先驱，在之后的多年里仍称自己的工作为“复杂信息处理”。

事实上，“人工智能”只是可能概括达特茅斯小组汲取的杂乱思想的几个标签之一。历史学家
Jonnie Penn
当时已确认了一些可能的替代选项，包括“工程心理学”、“应用认识论”、“神经控制论”、“非数值计算”、“神经动力学”、“高级自动编程”和“假设性自动机”。这一系列名称揭示了他们新领域灵感来源的多样性，涵盖了生物学、神经科学、统计学等多个领域。另一位达特茅斯会议参与者 Marvin Minsky 曾将 AI 描述为一个“手提箱词”，因为它能承载许多不同的解释。

但 McCarthy 想要一个能捕捉到他愿景雄心壮志的名称。将这个新领域称为“人工智能”吸引了人们的注意——以及资金。别忘了：AI 既性感又酷。

除了术语，达特茅斯提案还确定了人工智能相互竞争的方法之间的分裂，这种分裂自此以后一直困扰着该领域——Law 称之为“AI 的核心紧张关系”。

McCarthy

和他的同事们想用计算机代码描述“学习的每一个方面或其他任何智力特征”，以便机器模仿。换句话说，如果他们能弄清楚思维是如何工作的——推理的规则——并写下来，他们就可以编程让计算机遵循。这奠定了后来被称为基于规则或符号
AI（现在有时被称为 GOFAI，即“好老式的人工智能”）的基础。但提出硬编码规则来捕获实际、非琐碎问题的解决过程证明太难了。

另一条路径则偏爱神经网络，即试图以统计模式自行学习这些规则的计算机程序。达特茅斯提案几乎是以附带的方式提到它（分别提到“神经网络”和“神经网”）。尽管这个想法起初似乎不太有希望，但一些研究人员还是继续在符号
AI 的同时开发神经网络的版本。但它们真正起飞要等到几十年后——加上大量的计算能力和互联网上的大量数据。快进到今天，这种方法支撑了整个 AI
的繁荣。

这里的主要收获是，就像今天的研究人员一样，AI 的创新者们在基础概念上争执不休，并陷入了自我宣传的旋涡。就连
GOFAI 团队也饱受争吵之苦。年近九旬的哲学家及 AI 先驱 Aaron Sloman 回忆起他在 70
年代认识的“老朋友”明斯基和麦卡锡时，两人“强烈意见不合”：“Minsky 认为 McCarthy 关于逻辑的主张行不通，而 McCarthy
认为 Minsky
的机制无法做到逻辑所能做的。我和他们都相处得很好，但我当时在说，‘你们俩都没搞对。’”（斯洛曼仍然认为，没有人能解释人类推理中直觉与逻辑的运用，但这又是另一个话题！）

随着技术命运的起伏，“AI”一词也随之时兴和过时。在
70 年代初，英国政府发布了一份报告，认为 AI
梦想毫无进展，不值得资助，导致这两条研究路径实际上都被搁置了。所有那些炒作，实质上都未带来任何成果。研究项目被关闭，计算机科学家从他们的资助申请中抹去了“人工智能”一词。

当我在
2008 年完成计算机科学博士学位时，系里只有一个人在研究神经网络。Bender 也有类似的记忆：“在我上大学时，一个流传的笑话是，AI
是我们还没有弄清楚如何用计算机做的任何事。就像是，一旦你弄明白怎么做了，它就不再神奇，所以它就不再是 AI 了。”

但那种魔法——达特茅斯提案中概述的宏伟愿景——仍然生机勃勃，正如我们现在所见，它为 AGI 梦想奠定了基础。

（二）好行为与坏行为

1950
年，也就是 McCarthy 开始谈论人工智能的五年前，Alan Turing（艾伦·图灵）
发表了一篇论文，提出了一个问题：机器能思考吗？为了探讨这个问题，这位著名的数学家提出了一个假设测试，即后来闻名的图灵测试。测试设想了一个场景，其中一个人类和一台计算机位于屏幕后，而第二个人类通过打字向他们双方提问。如果提问者无法分辨哪些回答来自人类，哪些来自计算机，Turing
认为，可以说计算机也可以算是思考的。

与 McCarthy 团队不同，Turing 意识到思考是一个很难描述的事情。图灵测试是一种绕开这个问题的方法。“他基本上是在说：与其关注智能的本质，不如寻找它在世界中的表现形式。我要寻找它的影子，”Law 说。

1952 年，英国广播公司电台组织了一个专家小组进一步探讨 Turing 的观点。图灵在演播室里与他的两位曼彻斯特大学同事——数学教授麦克斯韦尔·纽曼（Maxwell Newman）和神经外科教授杰弗里·杰斐逊（Geoffrey Jefferson），以及剑桥大学的科学、伦理与宗教哲学家理查德·布雷斯韦特（Richard Braithwaite）一同出席。

Braithwaite 开场说道：“思考通常被认为是人类，也许还包括其他高等动物的专长，这个问题可能看起来太荒谬了，不值得讨论。但当然，这完全取决于‘思考’中包含了什么。”

小组成员围绕 Turing 的问题展开讨论，但始终未能给出确切的定义。

当他们试图定义思考包含什么，其机制是什么时，标准一直在变动。“一旦我们能在大脑中看到因果关系的运作，我们就会认为那不是思考，而是一种缺乏想象力的苦力工作，”图灵说道。

问题在于：当一位小组成员提出某种可能被视为思考证据的行为——比如对新想法表示愤怒——另一位成员就会指出，计算机也可以被编程来做到这一点。

正如 Newman 所说，编程让计算机打印出“我不喜欢这个新程序”是轻而易举的。但他承认，这不过是个把戏。

Jefferson 对此表示赞同：他想要的是一台因为不喜欢新程序而打印出“我不喜欢这个新程序”的计算机。换言之，对于 Jefferson 来说，行为本身是不够的，引发行为的过程才是关键。

但 Turing 并不同意。正如他所指出的，揭示特定过程——他所说的苦力工作——并不能确切指出思考是什么。那么剩下的还有什么？

“从这个角度来看，人们可能会受到诱惑，将思考定义为我们还不理解的那些心理过程，”Turing 说，“如果这是正确的，那么制造一台思考机器就是制造一台能做出有趣事情的机器，而我们其实并不完全理解它是如何做到的。”

听到人们首次探讨这些想法感觉有些奇怪。“这场辩论具有预见性，”哈佛大学的认知科学家 Tomer Ullman 说，“其中的一些观点至今仍然存在——甚至更为突出。他们似乎在反复讨论的是，图灵测试首先并且主要是一个行为主义测试。”

对 Turing 而言，智能难以定义但容易识别。他提议，智能的表现就足够了，而没有提及这种行为应当如何产生。

然而，大多数人被逼问时，都会凭直觉判断何为智能，何为非智能。表现出智能有愚蠢和聪明的方式。1981
年，纽约大学的哲学家 Ned Block 表明，Turing
的提议没有满足这些直觉。由于它没有说明行为的原因，图灵测试可以通过欺骗手段（正如纽曼在 BBC 广播中所指出的）来通过。

“一台机器是否真的在思考或是否智能的问题，难道取决于人类审问者的易骗程度吗？”布洛克问道。（正如计算机科学家 Mark Reidl 所评论的那样：“图灵测试不是为了让 AI 通过，而是为了让人类失败。”）

Block

设想了一个庞大的查找表，其中人类程序员录入了对所有可能问题的所有可能答案。向这台机器输入问题，它会在数据库中查找匹配的答案并发送回来。Block

认为，任何人使用这台机器都会认为其行为是智能的：“但实际上，这台机器的智能水平就像一个烤面包机，”他写道，“它展现的所有智能都是其程序员的智能。”

Block 总结道，行为是否为智能行为，取决于它是如何产生的，而非它看起来如何。Block 的“烤面包机”（后来被称为 Blockhead）是对 Turing 提议背后假设最强有力的反例之一。

（三）探索内在机制

图灵测试本意并非实际衡量标准，但它对我们今天思考人工智能的方式有着深远的影响。这一点随着近年来大型语言模型的爆炸性发展变得尤为相关。这些模型以外在行为作为评判标准，具体表现为它们在一系列测试中的表现。当
OpenAI 宣布 GPT-4
时，发布了一份令人印象深刻的得分卡，详细列出了该模型在多个高中及专业考试中的表现。几乎没有人讨论这些模型是如何取得这些成绩的。

这是因为我们不知道。如今的大型语言模型太过复杂，以至于任何人都无法确切说明其行为是如何产生的。除少数几家开发这些模型的公司外，外部研究人员不了解其训练数据包含什么；模型制造商也没有分享任何细节。这使得区分什么是记忆（随机模仿）什么是真正的智能变得困难。即便是在内部工作的研究人员，如
Olah，面对一个痴迷于桥梁的机器人时，也不知道真正发生了什么。

这就留下了一个悬而未决的问题：是的，大型语言模型建立在数学之上，但它们是否在用智能的方式运用这些数学知识呢？

（四）争论再次开始。

布朗大学的 Pavlick 说：“大多数人试图从理论上推测（armchair through it），”这意味着他们在没有观察实际情况的情况下争论理论。“有些人会说，‘我认为情况是这样的，’另一些人则会说，‘嗯，我不这么认为。’我们有点陷入僵局，每个人都不满意。”

Bender
认为这种神秘感加剧了神话的构建。（“魔术师不会解释他们的把戏，”她说。）没有恰当理解 LLM
语言输出的来源，我们便倾向于依赖对人类的熟悉假设，因为这是我们唯一的真正参照点。当我们与他人交谈时，我们试图理解对方想告诉我们什么。“这个过程必然涉及想象言语背后的那个生命，”Bender
说。这就是语言的工作方式。

“ChatGPT 的小把戏如此令人印象深刻，以至于当我们看到这些词从它那里冒出来时，我们会本能地做同样的事，”她说。“它非常擅长模仿语言的形式。问题是，我们根本不擅长遇到语言的形式而不去想象它的其余部分。”

对于一些研究者来说，我们是否能理解其运作方式并不重要。Bubeck
过去研究大型语言模型是为了尝试弄清楚它们是如何工作的，但 GPT-4
改变了他的看法。“这些问题似乎不再那么相关了，”他说。“模型太大，太复杂，以至于我们不能指望打开它并理解里面真正发生的事情。”

但
Pavlick 像 Olah
一样，正努力做这件事。她的团队发现，模型似乎编码了物体之间的抽象关系，比如国家和首都之间的关系。通过研究一个大型语言模型，Pavlick
和她的同事们发现，它使用相同的编码映射法国到巴黎，波兰到华沙。我告诉她，这听起来几乎很聪明。“不，它实际上就是一个查找表，”她说。

但让 Pavlick 感到震惊的是，与 Blockhead 不同，模型自己学会了这个查找表。换句话说，LLM 自己发现巴黎对于法国就如同华沙对于波兰一样。但这展示了什么？自编码查找表而不是使用硬编码的查找表是智能的标志吗？我们该在哪里划清界限？

“基本上，问题在于行为是我们唯一知道如何可靠测量的东西，” Pavlick 说。“其他任何东西都需要理论上的承诺，而人们不喜欢不得不做出理论上的承诺，因为它承载了太多含义。”

并非所有人都这样。许多有影响力的科学家乐于做出理论上的承诺。例如，Hinton 坚持认为神经网络是你需要的一切来重现类似人类的智能。“深度学习将能够做一切，”他在 2020 年接受《麻省理工科技评论》采访时说。

这是一个
Hinton 似乎从一开始就坚持的信念。Sloman 记得当 Hinton 是他实验室的研究生时，两人曾发生过争执，他回忆说自己无法说服
Hinton 相信神经网络无法学习某些人类和其他某些动物似乎直观掌握的关键抽象概念，比如某事是否不可能。Sloman
说，我们可以直接看出什么时候某事被排除了。“尽管 Hinton
拥有杰出的智慧，但他似乎从未理解这一点。我不知道为什么，但有大量的神经网络研究者都有这个盲点。”

然后是 Marcus，他对神经网络的看法与 Hinton 截然相反。他的观点基于他所说的科学家对大脑的发现。

Marcus 指出，大脑并不是从零开始学习的白板——它们天生带有指导学习的固有结构和过程。他认为，这就是婴儿能学会目前最好的神经网络仍不能掌握的东西的原因。

“神经网络研究者手头有这个锤子，现在一切都变成了钉子，”Marcus 说。“他们想用学习来做所有的事，许多认知科学家会认为这不切实际且愚蠢。你不可能从零开始学习一切。”

不过，作为一名认知科学家，Marcus
对自己的观点同样确信。“如果真有人准确预测了当前的情况，我想我必须排在任何人名单的最前面，”他在前往欧洲演讲的 Uber
后座上告诉我。“我知道这听起来不太谦虚，但我确实有这样一个视角，如果你试图研究的是人工智能，这个视角就显得非常重要。”

鉴于他对该领域公开的批评，你或许会惊讶于 Marcus 仍然相信通用人工智能即将来临。只是他认为当今对神经网络的执着是个错误。“我们可能还需要一两个或四个突破，”他说。“你和我可能活不到那么久，很抱歉这么说。但我认为这将在本世纪发生。也许我们有机会见证。”

（五）炫彩之梦的力量

在以色列拉马特甘家中通过
Zoom 通话时，Dor Skuler 背后的某个类似小台灯的机器人随着我们的谈话时亮时灭。“你可以在我身后看到
ElliQ，”他说。Skuler 的公司 Intuition Robotics 为老年人设计这些设备，而 ElliQ 的设计——结合了亚马逊
Alexa 的部分特征和 R2-D2 的风格——明确表明它是一台计算机。Skuler
表示，如果有任何客户表现出对此有所混淆的迹象，公司就会收回这款设备。

ElliQ

没有脸，没有任何人类的形状。如果你问它关于体育的问题，它会开玩笑说自己没有手眼协调能力，因为它既没有手也没有眼睛。“我实在不明白，为什么行业里都在努力满足图灵测试，”
Skuler 说，“为什么为了全人类的利益，我们要研发旨在欺骗我们的技术呢？”

相反，Skuler 的公司赌注于人们可以与明确呈现为机器的机器建立关系。“就像我们有能力与狗建立真实的关系一样，”他说，“狗给人们带来了很多快乐，提供了陪伴。人们爱他们的狗，但他们从不把它混淆成人。”

ElliQ 的用户，很多都是八九十岁的老人，称这个机器人为一个实体或一种存在——有时甚至是一个室友。“他们能够为这种介于设备或电脑与有生命之物之间的关系创造一个空间，” Skuler 说。

然而，不管
ElliQ
的设计者多么努力地控制人们对这款设备的看法，他们都在与塑造了我们期望几十年的流行文化竞争。为什么我们如此执着于类人的人工智能？“因为我们很难想象其他的可能性，”
Skuler 说（在我们的对话中，他确实一直用“她”来指代 ElliQ），“而且科技行业的许多人都是科幻迷。他们试图让自己的梦想成真。”

有多少开发者在成长过程中认为，构建一台智能机器是他们可能做的最酷的事情——如果不是最重要的事情？

不久之前，OpenAI 推出了新的语音控制版 ChatGPT，其声音听起来像斯嘉丽·约翰逊（Scarlett Johansson），之后包括 Altman 在内的许多人都指出了它与 斯派克·琼斯（Spike Jonze） 2013 年的电影《她》之间的联系。

科幻小说共同创造了对人工智能的理解。正如 Cave 和 Dihal 在《想象人工智能》一书中所写：“人工智能在成为技术现象很久以前就已经是一种文化现象了。”

关于将人类重塑为机器的故事和神话已有数百年历史。Dihal

指出，人们对于人造人的梦想可能与他们对于飞行的梦想一样长久。她提到，希腊神话中的著名人物戴达罗斯，除了为自己和儿子伊卡洛斯建造了一对翅膀外，还建造了一个实质上是巨型青铜机器人的塔洛斯，它会向过往的海盗投掷石头。

“机器人”这个词来自 robota，这是捷克剧作家 Karel Čapek 在他的 1920 年戏剧《罗素姆的万能机器人》中创造的一个术语，意为“强制劳动”。艾萨克·阿西莫夫（Isaac Asimov）在其科幻作品中概述的“机器人学三大法则”，禁止机器伤害人类，而在像《终结者》这样的电影中，这些法则被反转，成为了对现实世界技术的普遍恐惧的经典参考点。2014

年的电影《机械姬》是对图灵测试的戏剧性演绎。去年的大片《造物主》设想了一个未来世界，在这个世界里，人工智能因引发核弹爆炸而被取缔，这一事件被某些末日论者至少视为一个可能的外部风险。

Cave 和 Dihal 讲述了另一部电影《超验骇客》，在这部电影中，由约翰尼·德普（Johnny Depp）饰演的一位人工智能专家将自己的意识上传到了电脑中，这一情节推动了元末日论者斯蒂芬·霍金（Stephen Hawking）、物理学家马克斯·泰格马克（Max Tegmark）以及人工智能研究员斯图尔特·拉塞尔（Stuart Russell）提出的叙事。在电影首映周末发表在《赫芬顿邮报》上的一篇文章中，三人写道：“随着好莱坞大片《超验骇客》的上映……它带来了关于人类未来的冲突愿景，很容易将高度智能机器的概念视为纯粹的科幻小说。但这将是一个错误，可能是我们有史以来最大的错误。”

大约在同一时期，Tegmark 创立了未来生命研究所，其使命是研究和促进人工智能安全。电影中德普的搭档摩根·弗里曼（Morgan Freeman）是该研究所董事会成员，而曾在电影中有客串的 Elon Musk 在第一年捐赠了1000万美元。对于 Cave 和 Dihal 来说，《超验骇客》是流行文化、学术研究、工业生产和“亿万富翁资助的未来塑造之战”之间多重纠葛的完美例证。

去年在
Altman
的世界巡回伦敦站，当被问及他在推特上所说“人工智能是世界一直想要的技术”是什么意思时，站在房间后面，面对着数百名听众，我听到他给出了自己的起源故事：“我小时候非常紧张，读了很多科幻小说，很多周五晚上都待在家里玩电脑。但我一直对人工智能很感兴趣，我觉得那会非常酷。”他上了大学，变得富有，并见证了神经网络变得越来越好。“这可能非常好，但也可能真的很糟糕。我们要怎么应对？”他回忆起
2015 年时的想法，“我最终创立了 OpenAI。”

▍为何你应该关心一群书呆子对 AI 的争论

好的，你已经明白了：没人能就人工智能是什么达成一致。但似乎每个人都同意的是，当前围绕 AI 的争论已远远超出了学术和科学范畴。政治和道德因素正在发挥作用，而这并没有帮助大家将强对彼此的理解。

解开这个谜团很难。当某些道德观点涵盖了整个人类的未来，并将其锚定在一个无人能确切定义的技术上时，要想看清正在发生什么变得尤为困难。

但我们不能就此放弃。因为无论这项技术是什么，它即将到来，除非你与世隔绝，否则你将以这样或那样的形式使用它。而技术的形态，以及它解决和产生的问题，都将受到你刚刚读到的这类人的思想和动机的影响，尤其是那些拥有最大权力、最多资金和最响亮声音的人。

这让我想到了 TESCREALists。等等，别走！我知道，在这里引入另一个新概念似乎不公平。但要理解掌权者如何塑造他们构建的技术，以及他们如何向全球监管机构和立法者解释这些技术，你必须真正了解他们的思维方式。

Gebru 在离开谷歌后创建了分布式人工智能研究所，以及凯斯西储大学的哲学家和历史学家埃米尔·托雷斯（Émile Torres），他们追踪了几个技术乌托邦信仰体系对硅谷的影响。二人认为，要理解
AI 当前的状况——为什么像谷歌 DeepMind 和 OpenAI 这样的公司正在竞相构建通用人工智能，以及为什么像 Tegmark 和
Hinton 这样的末日预言者警告即将到来的灾难——必须通过托雷斯所称的 TESCREAL 框架来审视这个领域。

这个笨拙的缩写词取代了一个更笨拙的标签列表：超人类主义、外展主义、奇点主义、宇宙主义、理性主义、有效利他主义和长期主义。关于这些世界观的许多内容（以及将会有的更多内容）已经被撰写，所以我在这里就不赘述了。（对于任何想要深入探索的人来说，这里充满了层层递进的兔子洞。选择你的领域，带上你的探险装备吧。）

这一系列相互重叠的思想观念对西方科技界中某种类型的天才思维极具吸引力。一些人预见到人类的永生，其他人则预测人类将殖民星辰。共同的信条是，一种全能的技术——无论是通用人工智能还是超级智能，选边站队吧——不仅触手可及，而且不可避免。你可以在诸如
OpenAI 这样的前沿实验室里无处不在的拼命态度中看到这一点：如果我们不制造出 AGI，别人也会。

更重要的是，TESCREA
主义者认为 AGI
不仅能解决世界的问题，还能提升人类层次。“人工智能的发展和普及——远非我们应该害怕的风险——是我们对自己、对子女和对未来的一种道德义务，”
Andreessen 去年在一篇备受剖析的宣言中写道。我多次被告知，AGI 是让世界变得更美好的途径——这是 DeepMind
的首席执行官和联合创始人戴米斯·哈萨比斯（Demis Hassabis）、新成立的微软 AI 的首席执行官及 DeepMind 的另一位联合创始人Mustafa Suleyman、Sutskever、Altman 等人告诉我的。

但正如
Andreessen
所指出的，事情是一体两面的。技术乌托邦的反面就是技术地狱。如果你相信自己正在建设一种强大到足以解决世界上所有问题的技术，你很可能也相信它有可能完全出错的风险。当二月份在世界政府峰会上被问及什么让他夜不能寐时，Altman 回答说：“都是科幻小说里的东西。”

这种紧张局势是
Hinton 在过去一年里不断强调的。这也是 Anthropic 等公司声称要解决的问题，是 Sutskever
在他的新实验室关注的焦点，也是他去年希望 OpenAI 内部特别团队专注的，直到在公司如何平衡风险与回报上的分歧导致该团队大多数成员离职。

当然，末日论也是宣传的一部分。（“声称你创造了某种超级智能的东西有利于销售数字，”迪哈尔说，“就像是，‘请有人阻止我这么好，这么强大吧。’”）但不论繁荣还是毁灭，这些人号称要解决的到底是什么问题？谁的问题？我们真的应该信任他们建造的东西以及他们向我们的领导人讲述的内容吗？

Gebru 和 Torres（以及其他一些人）坚决反对：不，我们不应该。他们对这些意识形态及其可能如何影响未来技术，特别是 AI 的发展持高度批评态度。从根本上讲，他们将这些世界观中几个以“改善”人类为共同焦点的观念与 20 世纪的种族优生运动联系起来。

他们认为，一个危险是，资源向这些意识形态要求的科技创新转移，从构建
AGI
到延长寿命再到殖民其他星球，最终将以数十亿非西方和非白人群体的利益为代价，使西方和白人受益。如果你的目光锁定在幻想的未来上，很容易忽视创新的当下成本，比如劳工剥削、种族和性别偏见的根深蒂固以及环境破坏。

Bender
反思这场通往 AGI
竞赛的牺牲时问道：“我们是否在试图建造某种对我们有用工具？”如果是这样，那是为谁建造的，我们如何测试它，它工作得有多好？“但如果我们要建造它的目的仅仅是为了能够说我们做到了，这不是我能支持的目标。这不是值得数十亿美元的目标。”

Bender 说，认识到 TESCREAL 意识形态之间的联系让她意识到这些辩论背后还有更多的东西。“与那些人的纠缠是——”她停顿了一下，“好吧，这里不仅仅只有学术思想。其中还捆绑着一种道德准则。”

当然，如果这样缺乏细微差别地阐述，听起来好像我们——作为社会，作为个人——并没有得到最好的交易。这一切听起来也很愚蠢。当
Gebru 去年在一次演讲中描述了 TESCREAL
组合的部分内容时，她的听众笑了。也的确很少有人会认同自己是这些思想流派的忠实信徒，至少在极端意义上不会。

但如果我们不了解那些构建这项技术的人是如何看待它的，我们又怎么能决定我们要达成什么样的协议呢？我们决定使用哪些应用程序，我们想向哪个聊天机器人提供个人信息，我们在社区支持哪些数据中心，我们想投票给哪些政治家？

过去常常是这样：世界上有一个问题，我们就建造一些东西来解决它。而现在，一切都颠倒了：目标似乎是建造一台能做所有事情的机器，跳过在找到解决方案前缓慢而艰难地识别问题的工作。

正如 Gebru 在那次演讲中所说，“一台能解决所有问题的机器：如果这都不是魔法，那它是什么呢？”

当直截了当地问及什么是人工智能时，很多人会回避这个问题。Suleyman 不是这样。四月份，微软 AI 的首席执行官站在 TED 的舞台上，告诉观众他对六岁侄子提出同样问题时的回答。Suleyman 解释说，他能给出的最佳答案是，人工智能是“一种新型的数字物种”——一种如此普遍、如此强大的技术，以至于称其为工具已不再能概括它能为我们做什么。

“按照目前的发展轨迹，我们正走向某种我们都难以描述的出现，而我们无法控制我们不理解的事物，”他说，“因此，比喻、心智模型、名称——这些都至关重要，只有这样我们才能在最大限度利用人工智能的同时限制其潜在的负面影响。”

语言很重要！我希望从我们经历过的曲折、转折和情绪爆发中，这一点已经很清楚了。但我也希望你在问：是谁的语言？又是谁的负面影响？Suleyman
是一家科技巨头的行业领导者，该公司有望从其 AI
产品中赚取数十亿美元。将这些产品的背后技术描述为一种新型物种，暗示着某种前所未有的东西，它具有我们从未见过的自主性和能力。这让我感到不安，你呢？

我无法告诉你这里是否有魔法（讽刺与否）。我也无法告诉你数学是如何实现 Bubeck 和其他许多人在这项技术中看到的（目前还没有人能做到）。你必须自己下结论。但我可以揭示我自己的观点。

在 2020 年写到 GPT-3 时，我说人工智能最伟大的把戏就是说服世界它存在。我仍然这么认为：我们天生就会在表现出特定行为的事物中看到智慧，不管它是否存在。在过去几年里，科技行业本身也找到了理由来说服我们相信人工智能的存在。这使我对接收到的许多关于这项技术的声明持怀疑态度。

与此同时，大型语言模型让我感到惊奇。它们究竟可以做什么以及如何做到，是我们这个时代最令人兴奋的问题之一。

也许人类一直对智慧着迷——它是什么，还有什么拥有它。Pavlick 告诉我，哲学家长期以来一直在构想假设场景，来想象遇到非人类来源的智能行为意味着什么——比如说，如果一波浪冲刷海滩，当它退去时在沙滩上留下了一行字，拼凑成一首诗？

通过大型语言模型——通过它们的微笑面具——我们面临着前所未有的思考对象。“它将这个假设的东西变得非常具体，”Pavlick 说，“我从未想过一段语言的生成是否需要智慧，因为我从未处理过来自非人类的言语。”

人工智能包含很多东西。但我不认为它是类人的。我不认为它是解决我们所有（甚至大部分）问题的答案。它不是
ChatGPT、Gemini 或
Copilot，也不是神经网络。它是一种理念、一种愿景，一种愿望的实现。理念受到其他理念、道德、准宗教信念、世界观、政治和直觉的影响。“人工智能”是描述一系列不同技术的有用简略说法。但人工智能并不是单一事物；从来都不是，不管品牌标识多么频繁地烙印在外包装上。

“事实是，这些词汇——智力、推理、理解等——在需要精确界定之前就已经被定义了，”Pavlick 说，“当问题变成‘模型是否理解——是或否？’时，我并不喜欢，因为，嗯，我不知道。词语会被重新定义，概念会不断进化。”

我认为这是对的。我们越早能后退一步，就我们不知道的事达成共识，并接受这一切尚未尘埃落定，我们就能越快地——我不知道，或许不是手牵手唱起 Kumbaya(《欢聚一堂》)，但我们可以停止互相指责。