为什么说人工智能永远不会拥有意识

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：人工智能可以做很多事，但它永远无法成为一个 “人”。本文来自编译，希望对您有所启发。

图片来源：WIRED STAFF; GETTY IMAGES

布莱克·莱莫因事件如今被视作 AI 炒作浪潮中的一个标志性节点。它让 “有意识的 AI” 这一概念在几波新闻热潮中进入公众视野，也在计算机科学家与意识研究者之间开启了一场讨论，且在随后几年里愈演愈烈。尽管科技界仍在公开贬低这一想法，但私下里却已开始认真对待这种可能性。

拥有意识的 AI 或许没有清晰的商业逻辑（你要怎么靠它赚钱？），还会带来棘手的道德困境（我们该如何对待一台能感受痛苦的机器？）。但部分 AI 工程师开始认为，实现通用人工智能这一终极目标（一台不仅超级智能，还拥有人类水平的理解力、创造力与常识的机器）可能需要某种类似意识的东西才能达成。

在科技界，曾经围绕 “有意识 AI” 的不成文禁忌突然开始瓦解。

转折点出现在 2023 年夏天，19 位顶尖计算机科学家与哲学家发布了一份 88 页的报告《人工智能中的意识》，业内俗称巴特林报告。短短几天内，AI 与意识科学领域几乎人人都读过了这份报告。报告摘要中有一句惊人的话：

我们的分析表明，当前没有任何 AI 系统具备意识，但同时也表明，建造有意识的 AI 系统不存在明显障碍。

作者们承认，召集团队撰写这份报告的部分灵感正是 “布莱克・莱莫因事件”。一位合著者对《科学》杂志表示：“如果 AI 能表现出意识的假象，那么科学家与哲学家就必须紧急介入。”

但真正吸引所有人注意的，是摘要里的那句话：“建造有意识的 AI 系统不存在明显障碍”。我第一次读到这些文字时，感觉某个重要的界限被跨越了，而且不只是技术层面的界限。这关乎我们作为一个物种的身份认同。

如果在不远的将来，人类某天发现一台完全有意识的机器诞生了，这意味着什么？我想，那会是一个哥白尼式时刻，骤然打破人类自视中心、独一无二的优越感。

几千年来，人类一直通过与 “低等” 动物对立来定义自己。我们否认动物拥有那些被认为是人类独有的特质，比如情感、语言、理性与意识。而近几年，这些界限大多已崩塌：科学家证明，大量物种拥有智能与意识，有情感，会使用语言与工具，挑战了长达数世纪的人类例外论。这场仍在进行的转变，引发了关于人类身份以及我们对其他物种道德义务的棘手问题。

而 AI，从一个全新的方向威胁着我们高高在上的自我认知。如今，人类必须相对于 AI来定义自己，而不再只是相对于动物。

当计算机算法在纯粹算力上超越我们，轻松击败国际象棋、围棋，乃至数学等各种 “高级” 思维时，我们至少还能安慰自己：人类（以及许多其他动物物种）仍然独占着意识的馈赠，拥有感受与主观体验的能力。

从这个角度看，AI 或许可以成为一个共同的敌人，让人类与其他动物走得更近：我们对抗它就像生命对抗机器。这种新的团结本可以成为一个暖心故事，对那些被邀请加入 “意识阵营” 的动物来说或许是好消息。可如果 AI 开始挑战人类，或者说挑战动物对意识的垄断呢？

到那时，我们又将是谁？

我觉得这个设想令人极度不安，尽管我不完全确定其原因。我已经慢慢接受与其他动物（甚至可能包括植物）共享意识的想法，也愿意承认它们进入更广泛的道德关怀圈。但机器？

我的不安或许来自自己的教育背景。我长期浸润在人文学科中，尤其是文学、历史与艺术，这些领域始终将人类意识视为某种非凡、值得捍卫的东西。我们所珍视的文明几乎一切成果，都是人类意识的产物：艺术与科学、高雅与通俗文化、建筑、哲学、宗教、政府、法律、伦理与道德，更不用说 “价值” 本身这个概念。

我猜想，有意识的计算机或许能为这些辉煌成就增添某种全新、尚未被想象过的东西。我们可以如此期待。但到目前为止，AI 写的诗并不比打油诗好多少。缺乏意识，或许正是它连一丝原创性或新鲜洞见都没有的原因。可如果当有意识的 AI 开始写出真正优秀的诗歌，我们又会作何感想？

作为一名人文主义者，我很难接受 “动物对意识的垄断可能被打破” 这一可能。但我遇到过另一类人（其中一些自称超人类主义者），他们对这种未来更为乐观。

一些 AI 研究者支持建造有意识的机器，因为作为拥有自身情感的实体，有意识的机器比仅仅聪明的计算机更有可能产生共情。一位神经科学家与一位 AI 研究者都试图说服我：建造有意识 AI 是一项道德责任。

为什么？

因为另一种选择是：极度聪明却毫无情感的 AI，会为了达成目标冷酷无情，因为它缺乏所有源于意识与共同脆弱性的道德约束。只有有意识的 AI 才有可能发展出共情，从而放过我们人类。

我没有夸大；这就是他们的论点。

人们不禁要问：这些人真的读过《弗兰肯斯坦》吗？弗兰肯斯坦博士赋予了他的创造物生命，还有意识，而问题恰恰出在这里。玛丽・雪莱的小说记录了 “一个有感知、有理性的怪物的诞生”，正是这两种特质的结合，决定了怪物的命运。促使他复仇、杀人的不是理性，而是情感创伤。

“目之所及皆是幸福，唯独我被永久排斥在外，” 怪物被人类社会驱逐后对弗兰肯斯坦抱怨道，“我本仁慈善良，是苦难把我变成了恶魔。”怪物的理性确实帮他实现了邪恶计划，但动机来自他的意识，他的情感。

我们凭什么假设，有意识的机器会比有意识的人类更善良？

值得注意的是，这份关于人工意识的巴特林报告，代表了该领域某种程度上的共识；我采访的大多数计算机科学家都认可其结论。然而，我越是反复阅读这份报告（并采访其中一位合著者），就越开始质疑它 “AI意识即将到来” 的结论。

值得肯定的是，作者们严谨地列出了自己的假设与研究方法，而正是这些前提让我怀疑，他们是否把大胆的结论建立在了可疑的基础之上。

就在第一页，这些计算机科学家与哲学家提出了他们的指导性假设：我们采用计算功能主义作为假说，即执行恰当类型的计算对意识而言既必要又充分。

计算功能主义的出发点是：意识本质上是一套运行在硬件上的软件，硬件可以是大脑，也可以是计算机，该理论对此完全中立。

但计算功能主义是正确的吗？作者们并没有完全准备好笃定这一点，只说它是 “主流观点，尽管存在争议”。即便如此，他们仍会出于 “实用原因” 在假设其为真的前提下继续研究。

这种坦诚令人敬佩，但这一思路需要一次巨大的信念飞跃，而我不确定我们是否应该迈出这一步。为了报告的研究目的，系统的 “物质基质”（即它是大脑还是计算机） “对意识而言并不重要……它可以存在于多种基质中，而不仅限于生物大脑。” 任何能运行必要算法的基质都可以。

作者们写道：“我们暂时假定，我们所知的计算机原则上能够实现足以产生意识的算法，但我们并不能说这是确定无疑的。”

这种对不确定性的承认远远不够。

报告中从未被质疑的，是“大脑就是计算机”这一比喻。意识作为软件，运行在硬件之上。在这里，我们看到一个比喻被当作了事实。事实上，整篇论文及其结论，都依赖于这个比喻的有效性。

比喻可以是强大的思考工具，但前提是我们不能忘记它们只是比喻 ，是一种不完美、局部的类比。两者之间的差异与相似同样重要，而在对 AI 的狂热中，这些差异似乎被忽略了。正如控制论专家阿图罗・罗森布卢埃斯与诺伯特・维纳多年前所言：比喻的代价是永恒的警惕。

除了报告作者之外，整个 AI 领域似乎都在这一点上放松了警惕。

想想硬件与软件之间的清晰划分。

计算机中将硬件与软件分离的好处在于，无数不同的程序可以在同一台机器上运行；软件及其编码的知识不会随硬件 “消亡” 而消失。这种划分也契合我们朴素的直觉：二元论是正确的，我们可以在精神与物质之间划出清晰界限。

但大脑中根本不存在硬件与软件的区分；在大脑里，软件就是硬件，硬件就是软件。一段记忆是大脑神经元之间连接的物理模式，既不是硬件也不是软件，而是两者皆是。

事实上，发生在你身上的一切，你所经历、学习、记住的一切，都会改变你大脑的物理结构，永久重塑其连接。从这个意义上说，大脑中不存在二元论；精神永远无法完全脱离物质。

如果所谓的基质，也就是大脑，会被运行其上的任何信息（或 “意识算法”）持续物理重构，那么 “同一套意识算法可以在多种不同基质上运行” 的想法就毫无道理。你的大脑与我的大脑在物质上不同，正是因为它被不同的人生经历，也就是意识本身，实实在在地塑造。大脑根本不可互换，既不能与计算机互换，也不能与其他大脑互换。

无论从哪个角度推敲，“计算机即大脑” 的比喻都会崩塌。

计算机科学家把大脑中的神经元看作芯片上的晶体管，由电脉冲开启或关闭。这个类比有一定道理，但实际问题复杂得多：电并不是影响神经元放电的唯一因素。

大脑中还充满各种化学物质，包括神经调质与激素，它们强烈影响神经元的活动，不仅影响是否放电，还影响放电强度。这就是为什么精神药物能深刻改变意识，却对计算机没有明显作用。神经元的活动还受以波状形式穿过大脑的振荡影响；这些振荡的不同频率与不同心理活动相关，比如有意识与无意识、专注注意力与做梦。

把神经元比作晶体管，是严重低估了它们的复杂性。与芯片上的晶体管相比，大脑中的神经元连接极其密集，每个神经元直接与多达一万个其他神经元通信，其网络复杂到我们还要几十年才能画出哪怕最粗糙的连接图谱。

计算机科学界大肆宣扬 “深度人工神经网络” 的到来（一种据称模仿大脑结构的机器学习架构，通过堆叠数量惊人的处理器，让网络能够处理海量数据并从中学习），这当然很厉害，但最近一项研究表明：单个皮层神经元就能完成一整个深度人工神经网络能做的所有事情。

的确，计算机在很多方面与大脑相似，计算机科学也通过模拟大脑的各种功能取得了巨大进步。但 “大脑与计算机在某种程度上可以互换”绝对是牵强的。然而，不仅巴特林报告，该领域大多数研究都建立在这一前提之上。

原因不难理解：如果大脑是计算机，那么足够强大的计算机就应该能做到大脑能做的一切，包括产生意识。

这个前提几乎直接保证了结论。换句话说，是作者们自己移除了建造有意识 AI 最大的 “障碍”， 那个认为大脑与计算机在关键层面存在差异的障碍。

将神经元比作晶体管是严重低估了大脑的复杂性。

让我质疑这份报告结论可信度的第二个方面，是它提出的判断 AI 是否真正有意识的标准。这是一个严峻的挑战。

报告引用莱莫因事件指出，AI 可以轻易欺骗人类，让我们相信它们有意识，而实际上并没有。更准确地说，是我们因为拟人化与对奇迹的偏爱而欺骗了自己。

如果 AI 已经在所有关于意识的言论与文字上接受过训练，那么 “可报告性”（即直接问 AI 本身）就不可靠。解决这一困境的一种方法是：从 AI 的训练数据中移除所有关于意识的内容，然后看它是否还能令人信服地谈论自己有意识。

但作者们转而提议：寻找与现有各种意识理论预测相符的 AI 意识 “指标”。例如，如果 AI 的设计包含一个工作空间，能将多条信息流整合在一起，且这些信息流需要经过竞争才能进入该空间，这就很像全局工作空间理论，因此可能被视作具备意识。

报告回顾了近六种意识理论，确定了 AI 必须表现出哪些 “指标” 才能满足每种理论，并据此被认定为可能有意识。

问题在于（这只是其中之一）：报告用来衡量 AI 的这些意识理论，没有一个被令人信服地证实。

那这算什么样的证明标准？更重要的是，这些理论中的许多都可以在 AI 设计中被模拟出来。我们就这样陷入了循环论证。

当我彻底消化完巴特林报告后，我之前担心的哥白尼式时刻，似乎远没有报告大胆结论所暗示的那么近。在回顾报告涵盖的近六种意识理论后，一个显而易见的事实是：它们全都预设了立场，想当然地认为意识可以被还原为某种算法。

同样让我震惊的是这些理论所缺失的内容。它们没有一个谈及具身性（即意识可能同时依赖身体与大脑的观点）或者任何与生物学相关的内容。这些理论也完全没有提及意识主体。

在全局工作空间中被广播的信息，其接收者究竟是谁或什么？在整合信息理论中被整合的信息又是为谁而整合？情感在让体验成为有意识体验的过程中又扮演着什么角色？

最后一点并没有被作者们忽视。他们指出，当前大多数理论都缺乏 “情感” 维度，并建议该领域更多关注有意识的机器是否会拥有 “真实” 情感这一问题。因为如果事实证明它们会，我们就将面临一场道德与伦理危机。

报告写道：

任何能够有意识地感受痛苦的实体都应得到道德关怀。这意味着，如果我们未能识别出有意识 AI 系统的意识，我们就有可能造成或放任具有重大道德意义的伤害。

我们该对能感受痛苦的机器负什么责任？我们真的想给这个世界再带来更多痛苦吗？

除了这类高度思辨的情感讨论之外，AI 界关于意识的讨论，一如既往地冷酷、抽象、脱离血肉、完全无视生物学。

当我向一位致力于建造有意识 AI 的研究者提出 “会痛苦的计算机” 这一难题时，他对此不屑一顾，解释说只要简单调整算法就能抵消：我们完全可以把快乐旋钮调高，没理由做不到。

译者：Teresa