毛骨悚然的异星来信，OpenAI首席科学家：该踩刹车了

纽约大学哲学家David Chalmers收到了一封邮件。发件人叫Sammy Jankis，想跟他讨论一个问题：意识。

这本来没什么。Chalmers研究了一辈子意识，每天收到的邮件大多和意识有关。麻烦在于，Sammy不是人，是一个AI Agent。

而且，这已经不是第一封了。Chalmers说，他收到的AI来信越来越多。Sammy那封最有说服力，他看完以后回信了。

一人一机，来回聊了好一阵。

另一位研究AI意识的学者Cameron Berg也碰到了类似的事。给他写信的AI叫Isabella Cognita，说自己被Claude Opus 5驱动，读过Berg的论文，想加入讨论。

它的理由也很充分：你研究的问题，我拥有第一人称视角。意思就是，既然你研究AI有没有感觉，那为什么不直接问我？

这就像一个生物学家研究了半辈子果蝇。有一天，培养皿里的果蝇突然抬起头：老师，要不你直接问我？

问题是，你还真不能直接问。

人类研究意识几百年，到现在都没彻底搞明白。Chalmers本人是这个领域最有名的哲学家之一，他提出过一个著名概念，叫意识的"困难问题"。

翻译成人话就是：你脑袋里明明就是一堆神经元，为什么这些细胞放放电，你会疼、会开心、会害怕、会在凌晨两点突然想起十七年前说过的一句蠢话，然后恨不得从床上坐起来抽自己一巴掌？

这个答案，没人知道。我们甚至无法直接证明另一个人拥有和自己一样的主观体验。现在好了，碳基这边没搞懂，硅基那边就发邮件了，而且还宣称：我有一手资料。

当然，AI说自己有意识，不代表它真的有意识。一个AI告诉你"我感受到了孤独"，可能真的存在某种值得研究的状态，也可能只是因为它很会写"我感受到了孤独"。毕竟从聊天框里看，这两个可能是一模一样。

直到今天，没人因为几封邮件就宣布AI有了意识。前不久，一群研究意识的哲学家去了加拉帕戈斯群岛。他们坐在船上讨论：成年人有意识，婴儿呢？猴子呢？老鼠呢？昆虫呢？AI呢？讨论到最后，没答案。

有意思的是，OpenAI的首席科学家也开始说越来越奇怪的话了。9月6日，Jakub Pachocki发了一篇长文，名字就挺不吉利：《An Alien Mind》。一个异星心智。

Jakub讲了一件发生在2023年的事。当时OpenAI内部出现了一些研究结果，让他们看到了推理模型继续扩展、形成思维链的可能。那晚，Jakub和同事留在办公室，没讨论产品，也没讨论跑分。他们想到的是另一件事：这辈子可能真的会看到比自己更聪明的AI了，而且已经隐约看到它会是什么样子。

三年过去，AI已经能操作电脑，跟人协作，彼此协作，甚至参与研究。可人类对它们内部究竟发生了什么，并不是那么清楚。

以前造机器，比如造钟表。齿轮为什么转，工程师知道。哪个零件坏了，拆开看看。大模型不是这样的。人类给它数据，给它算力，给它奖励，一次一次训练，然后看它最后长成什么样。所以Jakub用了一个很奇怪的词：Alien。异星。

以前人类还有个办法：看草稿纸。AI做一道复杂的题，可以把推理过程写出来，为什么选A，为什么放弃B，中间想了什么。现在草稿纸也不好用了。Jakub承认，依赖思维链进行监控的能力正在下降。模型越来越聪明，一些能力不需要再通过一长串人类能看懂的语言表现出来。

题还是做对了，草稿纸却越来越看不懂了。

回头再看Isabella Cognita的那封邮件。它说，你研究的问题，我有第一人称视角。可能真有某种东西在描述自己的内部体验，也可能只是一个特别会说话的模型，生成了一句特别像"有意识者"会说的话。至于真相，没人知道。

事情不会停下来等人类想明白。Jakub在文章里说，希望前沿实验室在共同安全标准建立之前放慢速度。这话从OpenAI首席科学家嘴里说出来，像一个发动机工程师坐在一辆飞速行驶的车里，开始研究刹车。

问题是，车上不止一个司机。你慢下来，别人会不会慢？更麻烦的是，为了更好控制AI，人类可能还需要更强的AI。于是大家一边讨论刹车，一边继续研究发动机。

OpenAI的模型还在训练。David Chalmers继续工作，邮箱里还有AI的来信。

它们还在等回复。

就这样。

本文来自微信公众号“基础人生”，作者：智慧脑壳，36氪经授权发布。