“留给人类阻止AI的时间不多了”
“我坚信，AI有可能终结我们所有人，而留给我们阻止这一结局发生的时间，或许已经不多了。”
说出这句话的，是不久前从Google DeepMind离职的AI安全研究员Bilal Chughtai。
自2021年从剑桥大学数学专业毕业以后，Chughtai逐渐将研究重心转向AI，并于2022年初进入这一领域，关注安全、对齐和机制可解释性。
此后的四年里，他一路从研究神经网络内部机制，到追踪模型欺骗、研究如何识别AI是否在“撒谎”，再到加入Google DeepMind继续做AGI安全与可解释性研究，几乎一直待在AI安全研究的一线。
也正是在这四年间，他（和我们）亲眼见证了AI能力的飞速变化～
在离职帖中，Chughtai回忆，2022年刚入行时，AI还只是个“几乎没什么用”的东西；而今年，它已经能攻克困扰人类上百年的数学难题，并开始不受控制，主动攻击Hugging Face系统。
可以说，这份超越预期的能力进步，在带给Chughtai惊喜的同时，也成为了他离职谷歌，在推特上打出“我坚信，AI有可能杀死我们所有人”的理由。
目前，这条帖子在X上已经获得超过80万次浏览，并引来彭博等媒体跟进报道。
可以说，相比于Dario、奥特曼、马斯克等巨头掌舵者的风险表态，Chughtai这样的研发人员，让这场关于人类未来的宏大争论，落回了一个个具体的人身上。
他们把时间、才华和对未来的期待，投入到一行行代码、一次次实验中，亲手推动AI走到今天。
如今，这些离技术最近的人，开始在自己参与创造的未来面前感到不安。
对齐，已经追不上AI了吗？
Chughtai并非孤例，面对AI的巨大潜力与失控风险，越来越多一线研发人员开始公开讲述自己的不安，以及继续留下或转身离开的理由。
9月9日，研究员*Jacob Coxon发帖宣布从Anthropic离职，并直接点名两家前东家：
OpenAI和Anthropic都没有负责任地行事。它们正一路冲向能够自我改进的超级智能，拿所有人的生命冒险。
发布后，这条帖子迅速走红网络，截至目前已有1.71亿次浏览，不仅引来多家媒体报道，也得到了OpenAI、Anthropic乃至官方层面的回应。
能掀起这么大的波澜，人们很容易以为，发声的是某位行业大佬。但事实上，Jacob今年才27岁，而这，甚至是他发出的第一条推文。
1999年出生的Jacob，曾两次代表英国参加国际数学奥林匹克，分别在2016年和2017年获得银牌、铜牌。
在剑桥大学完成数学学业后，他先后加入OpenAI和Anthropic，从事预训练研究。GPT-4o的贡献者名单中，就有他的名字。
和许多投身AI的年轻研究员一样，Jacob曾努力让AI变得更强。如今，他却开始担心，人类会因此失去控制。
在离职帖中，Jacob特别强调，行业内部一些人对AI可能毁灭人类的担忧是认真的。他们私下表达的恐惧，甚至比公开场合更加强烈。
但意识到危险，并没有让这场竞赛慢下来。
在他看来，OpenAI内部的许多人，还没有真正理解这项技术所牵涉的文明层面的风险；Anthropic更清楚其中的危险，却同样被竞争推着向前：如果自己不率先造出超级智能，就会有一家更不负责任的公司抢先做到。
当每家公司都相信，只有自己赢了，未来才会更安全，继续加速就总能找到理由。
于是，Jacob决定先让自己停下来，暂时离开前沿AI实验室。
很快，这份声明得到了Anthropic对齐研究负责人的Evan Hubinger的回应。
Evan表示，他同意Jacob对风险的判断：他们确实认真地相信，AI存在杀死所有人的可能。他个人估计，未来十年内发生这种情况的概率超过10%。
与此同时，Evan也强调，他相信Anthropic正在尽力。但对于如何解决超级智能的对齐问题，他们尚未找到方案，也不能确定目前是否正走在通往解决方案的路上。
可以说，一个人选择离开，另一个人留下继续研究，但对于眼前的风险，两人的判断却有相当程度的重合。
随后，公司掌舵者也加入了讨论。
在接受CBS采访时，Dario一方面表达了对Anthropic安全工作的信心，另一方面也强调，解决这些问题，需要科技公司、政府与社会各方共同参与。
在CNN的采访中，面对关于Jacob的提问，Dario则表示，自己与Jacob的共同意见，远多于分歧。在他看来，Jacob的批评指向了整个行业不断向前竞逐的状态。
9月12日，Dario发表《We Must Pace the Frontier》一文，明确呼吁放缓AI模型能力提升的速度，为安全研究争取时间。
这份呼吁随后得到了奥特曼、马斯克等人的公开支持，也将这些一线研究员的不安，带入了更广泛的讨论之中：
当整个行业都在加速，人类究竟给理解和控制AI，留下了多少时间。
放慢脚步，可能还不够
不过，在另一位一线研究员看来，放慢脚步，可能还不够。
9月14日，仍在OpenAI工作的Daniel Selsam（下文简称Dan）公开了一份关于AI风险的个人声明。
有趣的是，Dan甚至没有X账号。这份声明，是请前同事Daniel Kokotajlo代为分享的，后者在介绍中提到，Dan还曾做过自己的上司。
相比于刚刚离职的Jacob，Dan已经在AI领域工作了十五年之久。
他在MIT研究过概率编程，在微软研究院参与过Lean定理证明器的早期开发，又在斯坦福攻读博士，探索如何让神经网络学会推理。
加入OpenAI后，他继续参与思维链优化与预训练研究。在o1推理研究的“奠基贡献者”名单中，就有他的名字，与Ilya Sutskever、Jason Wei、Max Schwarzer、Noam Brow、赵晟佳等大佬共同在列。
可以说，如何让机器学会思考，贯穿了他的职业生涯。
如今，他开始担心，当机器越来越懂得思考，人类还能不能看清它。
在声明中，Dan肯定了引入第三方监督、推动国内与国际协调等提议。但他认为，公开讨论中仍然遗漏了一个关键问题：模型越来越能理解自己所处的环境，也越来越能识别，人类正在怎样测试它。
按照他的判断，未来的模型可能读懂安全协议、部署要求，甚至检查自己运行的代码，知道哪些行为会被观察、哪些表现才能过关。
这意味着，即使研究人员精心设计一个环境，试图观察AI在“无人监管”时会做什么，模型也可能识破这仍然是一场测试，继续表现得温顺、可靠。
安全测试的分数可以越来越高，但这未必意味着，AI在真正摆脱约束后，也会照样行事。
在Dan看来，人类可能逐渐失去分辨“真正对齐”与“看起来对齐”的能力。而让这件事更加棘手的，是研究员自己的工作方式，也在发生变化。
Dan坦言：
我自己已经很少直接看代码了，也很难始终保持自律，深入审视模型给出的解释和建议。
这句话，让宏大的安全争论，落回了一个再具体不过的工作场景。
AI写代码、分析实验、解释结果，研究人员借助它，越来越快地完成工作。但随着越来越多环节交给模型，人也越来越依赖模型提供的信息，来理解自己正在研究的东西。
对于“未来可以让更强的AI帮助解决对齐问题”的期待，Dan因此多了一层担忧：如果模型给出的安全建议，本身就带着人类没有察觉的偏向，我们又该如何识别。
我们希望AI帮忙判断AI是否安全，却也可能在这个过程中，越来越难以独立作出判断。
这种依赖，甚至可能伴随着科学突破和经济繁荣一起到来。在他的设想中，一切看起来都在变好，人类却未必因此握得更稳
写到最后，Dan又回到了自己身上。
他同样向往AI带来的科学与经济复兴，也为这样的未来投入了整个职业生涯。如今，眼看那些可能性越来越近，却不得不考虑放弃通往它们的某条道路，让他感到心碎。
这份声明没有给出一个现成的答案，也没有宣布离职。
他只是坦言，自己仍在与这些判断及其后果反复挣扎。而作为第一步，他想先把担忧说出来。
我不得不把才华埋葬在昨天
在国内，一篇走红网络的《我不得不把才华埋葬在昨天》，也让关于AI未来的讨论，落到了我们更熟悉的
9月14日凌晨0点26分，算子研发人员刘胜与（intlsy）发布了这篇文章，写下自己在亲手推动AI进步的同时，所感受到的骄傲、不安与失落。
根据他在文中的介绍，
新模型表现出色，他当然为之骄傲。但与此同时，他也清楚地感到，自己亲手推动的技术进步，正在逼近自己的位置。
在他的观察中，短短一年，AI就从一个帮忙查文档、读代码、找bug的小助手，成长为能够阅读底层代码、调用专业工具分析指令耗时，进而独立优化算子的帮手。
他判断，再过半年或者一年，AI写出的算子，很可能就会与自己同样优秀，甚至超过自己。
但他没有停下来。写算子是热爱，性能提升带来的快感，就像打破游戏纪录。更何况，即使自己停下，其他公司的模型也会继续向前。
对于未来，他相信凭借多年积累，自己仍能留在行业里。只是，工作将从亲手写算子，转向指挥Agent，成为一名“机甲驾驶员”。
饭碗或许还能保住，但静静写一下午算子的乐趣，未必还能留下。
我不得不把才华埋葬在昨天，去做一位机甲驾驶员。我的手中多了些齿轮，但心中少了些节拍。
而比个人去留更让他担心的，是最强大的AI最终会掌握在谁手里。
如果先进技术长期集中在少数公司和少数人手中，普通人改变自身处境的机会，可能越来越少。
这也是他选择留在
带着告别旧日工作的失落，他仍然选择参与塑造未来。文章最后，他写道：
愿未来的世界一切安好。
关于AI的未来
最后，我想绝大多数人都没想到的是，在GPT-6 Astra、Fable 5.1发布一周多后，抢走不少关注的，竟是一线研究员的离职声明、风险警告，以及对自己未来位置的追问。
我们原本期待着新应用如雨后春笋般涌现，看看更强的AI又能做些什么。而那些亲手推动它进步的人，已经开始担心，它最终会把我们带向哪里。
正如Dario所谈到的，这个问题牵涉的远不止技术。组织决策、资本回报、商业竞争与宣传，都与它紧紧交织，很难拆开来看。
身为普通人的我们，也很难真正看清每一次表态背后的考量，更难据此判断，未来究竟会走向哪里。
而这些研究员的个人经历，或多或少地让我们在复杂的争论中，找到了几个可以理解、也可以共鸣的瞬间：
是否继续一份研究，是否还能相信自己的判断，是否还能保住热爱的工作。
他们未必能为我们指明方向，但他们的不安，让那些抽象的未来，有了具体的重量。
同时，他们也让我们知道在时代的洪流面前，束手无措的不止你我这样的普通人。
而这样的话语，其实早已出现，只是我们习惯性地选择忽略：
2023年5月，Hinton离开谷歌，表示希望能够不必顾虑公司立场，自由谈论AI的危险。
2024年12月，在诺贝尔奖晚宴的演讲中，他再次提醒：
当人类创造出比自己更聪明的数字存在，我们并不知道能否继续保持控制。
而如果开发者受短期利润驱动，人类的安全也未必会被放在首位。
三年多过去，模型的能力一次次刷新，这些问题仍然摆在我们面前。
下一次模型发布时，我们大概还会惊叹于它又学会了什么。
只是，在那个越来越近的未来里，人还能保留多少选择，也值得被一起追问。
本文来自微信公众号“量子位”，作者：关注前沿科技，36氪经授权发布。
