后AGI时代：人类再无施展抱负的机会
神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。
编者按：这是一篇对后AGI时代的设想。如果AGI实现的话，AI将在所有领域都超越人类，这个思想实验认为，将来每个人都能过得很好，但阶层会严重固化，有些人会比大多人掌握多得多的权力，社会将出现停滞，人类将没有任何抱负。文章来自编译，一家之言，请用批判性眼光审视。
我听过很多人说“后AGI 时代，钱将不再重要”。这话总让我觉得怪怪的，而且很可能完全是错的。
首先，劳动是指人类的脑力和体力活动，用于创造有价值的东西。资本品是工厂、数据中心和软件等人类创造的工具，用于商品和服务的生产。我用“资本”代指资本品存量及支付方式（如金钱），而当我想排除掉资本品时，我会直接用“金钱”。
AI 的关键经济效应在于让资本成为劳动的普遍替代品。需要人类工作时间的场景越来越少，因为可以用资本（如跑软件的数据中心）替代人类的脑力劳动。
我会阐述这一现象的后果，并最终得出结论：AI取代劳动力意味着：
1、在现实世界购买结果的能力会大幅提高
2、人类在现实世界行使权力的能力会急剧下降（至少在没有金钱的情况下）；原因包括：
- 国家、企业或其他机构将不再有关心人类的动力
- 人类想取得相对于起步资源属于异类的结果会更难
3、激进的平等化措施不太可能实现
总体来看，这表明变革性 AI 存在一个被忽视的弊端：社会可能从此会变得一潭死水，而当前的权力不平等可能会被放大并固化。
如果 AI 的能力足够强，这种风险并不是出于物质享受的担忧。政府可以利用 AI 创造的财富实施全民基本收入（UBI）。即便假设AI 创造的财富只有美国独享，而美国政府对美国以外地方漠不关心，如果假设 AI 带来了极端的财富增长，美国少数对此关心的富有阶层可能创造出来的财富也足以终结物质贫困。比方说，如果美国那些亿万富翁的财富的1% 用来转移给外国人的话，他们的财富需要增长 16 倍即可以为地球上的每个人提供 50 万美元。在经济每隔几个月就翻一番的奇点场景下，这种情况可能很快就会发生。当然，如果 AI 的爆发没有奇点那样极端，或 AI 崛起期间的状况对全球大部分人口不利（这种可能性真实存在），即便是物质享受也可能成问题。
这些场景最让我触动的是，阶层固化一潭死水的社会既没有活力也缺乏生机。我们应该尽量避免扼杀掉人类的雄心壮志。
此外，这种状态还可能增加缓慢渐进出现的 AI 灾难发生的可能性，因为权力机构关心人类福祉的动力减少了。
默认的解决方案
姑且假设，在目前人类能拿到报酬的绝大多数任务当中，人的脑力劳动与体力劳动不再具备显著的市场价值，因为用人工智能可以更好/更快/更便宜地完成这些任务（编者注：目前看这些假设是不成立的）。我们称只为劳动力替代型AI。
由此产生的失业问题，有两个层面的标准解决方案：
- 政府将采取某种形式的全民基本收入保障（UBI）。
- 我们很快将实现超级智能，且假设超级智能可实现，我们将生活在一个后稀缺时代的技术天堂里，一切皆有可能。
不过要注意，首先，金钱不会消失，除非有一个 AI 系统负责所有的经济规划。价格的主要作用是传递信息。如果存在许多行为人彼此交易，则价格的存在应被视为默认假设（即便人类看不到或不能与之直接交互）。此外，不管奇点再怎么奇异，资源的丰富程度仍是有限度的，因此仍需要分配。
目前，金钱很难买到人才
钱可以买到很多东西：比方说，资本品通常可以直接购买，而且需要大量资金（或其他流动资产、可用于签订合约的非流动资产，或者特殊政府权力）才能获得。可是，靠砸钱钱转化为可与顶尖人才媲美的劳动力却出人意料的难。
比方说，可以对以一下蓝色起源与 SpaceX 。蓝色起源成立时间比 SpaceX 早两年（2000 年 vs. 2002 年），而且在大部分时间里前者是资金更充裕的那个，甚至到今天，两家公司的员工数量仍几乎持平（11,000 vs. 13,000）。但显而易见，SpaceX 却以绝对优势压倒了蓝色起源。2000 年，杰夫·贝索斯手头有 47 亿美元，可你几乎找不到任何手段能阻止他输给资金更少但具备文化凝聚李与卓越人才的 SpaceX 。
再比如，一个世纪之前，莱特兄弟仅凭自行车修理店的资源就击败了资金雄厚的塞缪尔·兰利团队。
或者看一下风投人跟创始人之间的互动，或者买家与初创企业之间的互动。这两种情况下，拥有巨额金融资本的投资者愿意为劳动价值支付极高价格，赌的是少数创业者的劳动将击败巨额资本。
如果想把钱变成成果，你面临的最大问题就是招到合适的人才。这会带来几个问题：
- 判断一个人是不是人才通常很难，除非你自己在同一领域也相当有天赋。所以，如果你想寻找人才，往往会错过。
- 人才很稀缺（有资历的人才更是凤毛麟角——而且由于第 1 点，很多行为人没法指望任何其他类型的人才），所以，能在市面上流通的人才并不多。
- 就算你能找到顶尖人才，能打动这些人的往往不是金钱。
（当然，那些有钱人会不断建设基础设施，为的是更容易将金钱转化为成果。我就亲眼目睹了量化金融公司在很大程度上已经成功扼杀了英国顶尖 STEM 毕业生的所有雄心壮志，并用金融市场上微薄的收益取而代之。财神爷的要求必须得到满足！）
一旦AI取代劳动力，这些问题就会消失。
首先，你可能没法判断谁是AI“人才”。即便AI评估生态体系都很难正确判断AI“人才”——评估是很难的。给予了Claude-3.5-Sonnet恰当口碑的非正式机制说不定都比任何的基准测试强，因为随着AI能力的不断提升，后者也越来越难以判断哪些人工智能才是真正的最佳。但真正的区别在于AI可以克隆。目前，一位取得突破的明星研究员会被巨额资本趋之若鹜，从而让控制金钱的人看得见他们的才华（可以判断一篇论文的社会反响，但通常不能给这个人是不是人才直接下结论）。但AI明星研究员是可以克隆的。每个人——或者至少，每一位有足够钱砸在 GPU 上的人——都能得到自己的AI明星研究员。你不需要从各种各样独特的人类当中去筛选出他们未经证实的才能，而更加令人讨厌的是他们的能力你没法立即克隆。所以说一旦拥有了可以取代劳动力的AI，资金就就能更容易地找到顶尖人才。
当然，人才价格也会大幅下降，因为AI会比同等的人类劳动力便宜（编者注：目前看不是这样的，OpenAI o3的成本高得离谱），而且AI可以克隆，竞争也会更加激烈。
用钱买人的最后一大瓶颈是，很多顶尖人才有自己的独特癖好，这样的人很难被金钱收买。顶尖艺术家有自己迷恋的艺术观。顶尖数学家对优雅和美无比执着。顶尖创业者对自己的事业有坚定的信念——而且可能无论如何都没法成为一名好员工。人类的天赋和表现令人惊讶地与一门学科或一项使命形成了神圣纽带（这个世界的那些愤世嫉俗者/野心家/罗马帝国喜欢淡化这一事实，结果却发现自己的午餐被雄心勃勃的实习生/ SpaceXes /基督徒吃掉了）。相比之下，AI就很容易收买。天才的AI数学家跟人类数学家就不一样，它们会很乐意把自己有限的时间花在证明乏味代码的正确性上。
最后，也很显而易见的一点，AI完成任务的能力最终会比任何人类员工都要强。
这意味着，一旦我们拥有取代劳动力的AI，金钱在现实世界购买成果的能力将大幅提升。
大多数人的权力/影响力均源自他们的劳动
取代劳动力的AI也将几乎所有人的权力和影响力给剥夺了。最明显的一点，如果你是普通人，你之所以有钱，是因为有人付钱给你，让你付出脑力和/或体力去解决他们的问题。
可是！我们不是假设有 UBI 了吗？！问题解决了，对吧？
为什么国家会那么有善心？
关心人类福祉的国家才会推UBI。国家关心或者可能关心人类福祉的原因有很多。
过去几个世纪，各国政府对人类的关切已经发生了巨大转变。为什么？我们可以分析一下原因，看看这种情况能持续多久：
- 启蒙运动之后的道德观变了，尤其是日益围绕着自由主义与个人主义。
- 富裕与技术。前工业化社会大多十分贫穷，穷到大规模资助穷人会导致破产的地步。很多种帮助（如有效的医疗保健）也只有借助新技术才有可能实现。
- 国家关心自由、繁荣与教育的动力。
AI 对第二点会大有裨益。AI对第一点的影响比较复杂。此处我想重点探讨第三点，因为我认觉得这一点没有受到重视。
自工业革命以来，国家与人民的利益达到了前所未有地一致。要想在经济上具有竞争力，强国需要有高效的市场、能培养熟练工人的优质教育体系，以及能创造需求的繁荣中产阶级。国家需要不拘一格降人才。这种需求推动了科学、技术、艺术和媒体的发展，从而带来了全球软实力和文化影响力的提升。国家之间的竞争通常会进一步推动朝着这些方向发展。相比之下，封建制度的成功之道在于上层阶级剥削文盲农民，同时将榨取的很大一部分租金用于与邻近国家的战争。
不过，有了取代劳动的 AI 后，国家的动力（为了强化竞争力和/或自身权力所应采取的行动）就不再与人类利益一致了。跟封建时代相比，相关动因可能会稍好一些——在封建制度下，其动因是尽可能压榨农民，但又不至于让他们饿死。AI 出现后，人类会从“可开采的资源”变成“无关紧要的存在”。不过，国家是有动力将资源少分配一点给人类而更多地分配给AI的，因为后者能让国家保持竞争优势。
人类对国家的影响力也会大大削弱。比方说，今天如果某个重要行业罢工的话，国家必须重视，因为它的权力至少需要仰仗某些人群的支持。此外，以前大家还可以主张“投资我们，十年后国家将更强大”。但一旦维持经济运转和军事强大的一切活AI都能包办的话，国家就没有理由关心人类的任何需求了。
亚当·斯密曾写道，我们期望的晚餐并非来自屠夫、酿酒师或是面包师的恩惠。同样，今天的古典自由主义者可以很自信地宣传，历史的轨迹确实朝着自由与富足的方向前进，而且这一进程不是出于国家的仁慈。但在取代劳动的 AI 出现之后，这一切将不再成立。如果历史的轨迹不变，那只能是因为国家（或 AI 富豪）的仁慈。如果是这样的话，我们最好在还有影响力的时候锁定这种仁慈——并找到它能经受时间考验的充分理由。
再无非凡成就？
在这个世界上，有很多改变都是由没钱没权的人推动的，这些取得了非凡的成功，最终也变得有钱有权了。这是说得过去的，因为已经有钱有权的人很少有推动重大变革的热情，因为他们恰恰是现状最大的得利者。
不管你对收入不公或任何特定群体取得非凡成就有何看法，我希望你能认同我的观点，也就是某人取得非凡成就并改变世界的可能性，对于我们避免停滞不前以及总体上建立一个有趣的世界至关重要。
我们不妨思考一下，想想替代劳动的AI对通过劳动取得非凡成就的各种途径有何影响。
创业正日益成为马特·克利福德所谓的“实现抱负的理想方式”，特别是那些有技术才能但对政治不感兴趣的年轻人的首选。创业现在变得更容易了。AI工具可让小团队不用招更多人也能更有效率。AI还降低了学习新技能进入新领域的门槛。但是，取代劳动力的AI让创业的可行性变得不确定了。在某些比较狭窄的赛道里，AI可能仍然主要是工具，创业者可以在大多数人类劳动被自动化之后很长一段时间内取得成功，因为创业者有主动权，方向要由他们给出。不过，足够强大的AI似乎也有可能让人类的创业精神变得过时。比方说，风投基金说不定可以直接将把资金转化为数百家由AI运营的初创企业，而不用再找人类创业者来替他们管理AI。
硬核科学。由于AI在具有明确激励信号的领域的进步神速，人类在硬科学领域取得成就的时代在几年之内可能就会结束。
知识分子。凯恩斯、弗里德曼和哈耶克都从事经济学的技术性工作，但他们的巨大影响力来自于他们形成并兜售的世界观（尤其是哈耶克），所以这些人比主宰数理经济学的保罗·萨缪尔森等人更具影响力。约翰·斯图尔特·密尔、约翰·罗尔斯还有亨利·乔治等则靠建立框架、世界观与哲学而产生影响。这些人与硬科学家之间的关键区别在于，其工作成果不仅仅要聚焦于技术上的正确性，还需要道德判断。就算AI超级有说服力，超级正确，但AI在这个领域的工作方式如何适应人类文化选择与思想传播方式仍存在一定的不确定性。对于人类知识分子来说情况似乎不太妙。我怀疑，知识分子的意识形态之所以如此强大，很大程度上是因为那是天才的产物，而天才是很罕见的。而AI创造的意识形态泛滥的话，可能意味着任何个人意识形态，当然也包括人类的意识形态都不再会有那么大的光环了。具有世界历史意义的知识分子可能会灭绝。
选择政治受到的影响也许是最小之一，因为我猜大多数人都希望人类来担任这项工作，而且政客可以制定什么可以做的规则。不过，AI生成的虚拟形象的魅力，以及至少在西方，大家对政客的普遍厌恶，可能会带来意外惊喜。在位的这帮人会不会受到青睐还很难说。AI可能会降低政治竞选很多地方的成本，降低进入的资源门槛。不过，如果小玩家玩不起的AI要比更便宜的AI优势大得多的话，天平就会向拥有更多资源的玩家倾斜。我预计AI对模因化格局的直接影响要小于间接影响。
还有，主战场不是真的从政，因为有上百万具备政治天赋的人在角逐总统或总理。相反，如果你有政治技能的话，去政府之外这种东西不那么常见的地方效果反而更加（看看山姆·阿尔特曼）。接下来，就等着超级能干的AI员工的到来吧，这些员工会降低对人类在具体专业领域能力的需求，同时提高在组织内部赢得政治博弈的回报。。
自拿破仑以来，军事成功作为通往大国地位和颠覆现状的直接途径，基本上不再是现实，这一变化从某种程度上来说是好的。科技的进步提高了建立一支最先进军队所需的最低工业基础，这对现有强国更为有利。人工智能（AI）看起来将由最强大的国家所掌控。一个例外情况是，如果人工智能使得对大国的政变变得更加容易。未来对人工智能军队的控制可能会在两个方面发生变化：（a）比以往更加集中化（因为军事行动不再需要大量人员的参与）；（b）比以往更加可控（因为权限可以通过代码来实施，而不再依赖人类的社会规范）。这两种因素的指向不同，因此目前尚不确定它们对政变易发性的综合影响会是什么样的。另一个潜在的例外是，如果革命性的战术与廉价无人机结合，使得“无人机拿破仑”能够战胜现有的军队。然而，值得注意的是，这两种情况似乎都不太可能带来对现状产生积极颠覆性挑战的可能性。
因此，总体而言，足够强大的劳动力替代型AI会对人类各种类型的成功几率产生不利影响，其中对政治的影响可能最弱。尽管目前的AI对创业是有着切实促进作用的。
所有这些意味着，一旦我们拥有能取代劳动力的AI，在现实世界中，没钱想要掌控权力会变得困难许多。
强制平等不太可能实现
《不平等社会》（The Great Leveler）是一本关于不平等历史的好书，至少作者认为，这本书很好地经受住了质疑。书的结论是，过去不平等现象大幅减少完全是折种事件推动的：全面战争、暴力革命、国家崩溃以及大瘟疫。从历史上看，通过有意识的政治选择来平衡收入差距已经非常困难了，基本上不可能实现。
想象一下，AI取代劳动力的时代已经到来。全民基本收入法案获通过，所以没人会挨饿。各国和各公司都在竞相利用AI。这一切都需要密集资本，所以人人都需要赢得资本持有者的青睐。顶级AI公司拥有国家级的权力。财富再分配不太可能成为政治议程的首要议题。
一个例外可能是，如果某种新的政治运动或意识形态迅速获得大量支持，并且在一定程度上受到AI空前的影响推动（比方说：人再也找不到工作，所以可以将所有时间投入到政治上，或者出现了某种新的AI驱动的协调机制）。
因此，哪怕未来是一个极其辉煌的，超人类主义的乌托邦，刚开始的时候人人平等也不大可能。根据前面的论点，他们也不太可能在以后大极大改变其相对地位。
还要考虑国家之间的平等。一些国家将从人工智能中受益远超其他国家。在当前政治制度下，许多平等措施（如 UBI）很难推广到非公民。即使是美国，这个世界历史上最自由、最人道主义的大国，也是如此。默认情况下，世界秩序可能看起来（甚至比今天更像）基于出生国的全球种姓制度，移民的可能性甚至更少（因为允许移民的主要动机是其巨大的经济利益，而这种利益只有当人类从事具有经济意义的工作时才会存在）。
还要考虑各国之间的平等问题。AI给某些国家带来的好处将远超其他国家。很多平衡差距的措施，如普遍基本收入（UBI），在当前的政治体系下很难推广到非公民身上。就连美国也做不到。因此，默认情况下，全球秩序可能会变得更像一个全球性的看出生地的种姓制度，移民的可能性也会变少（因为移民的主要动力是可带来巨大经济利益，而这种利益只有在人类从事具备经济意义的工作时才能实现）。
默认的结果是什么？
如果接受本文开头的假设和上述分析，则后人工智能时代：
- 在现实世界花钱买结果的能力比以往任何时候都要强。
- 劳动赋予个人的影响力比以往任何时候都要小。
- 在大多数或所有领域通过劳动取得非凡成功不再可能。
- 无论在国家内部还是在国家之间，资本失衡的局面都没有很大的改观。
这意味着，在替代劳动力的AI到来时，拥有大量资本的人会拥有永久性的优势。相对于今天的富人，他们会拥有更多权力——这种权利不一定体现在对人的控制，但至少在物质和智力成就方面会拥有更多权力。新兴势力恐无法战胜他们，因为如今资本可以轻松地转化为超人类表现的劳动。
此外，这个世界上掌握权力的那些机构将不再有动力去关心人们，因为以前是出于维持或增强权力的需要，但将来一切真正权力都将来自AI。不过政治机构可能也会将价值观牢牢锁定在自由人文主义上。同时，如果人人都具备普遍基本收入（UBI）或类似保障，且经济仍保留人本的部分，人民的购买力也可能会被牢牢锁定。
最理想的情况下，这个世界会跟挪威比较接近：只不过会更加不平等、更富裕、更缺乏活力：会一大笔非人类劳动资源（石油 :: AI）带来的利益流向每个人，虽然确实部分人会比其他人更有钱，但人人都将拥有极高的生活水平（理想情况下，还能永生）。在这样的世界里，人类唯一的抱负，就是在自己的圈子和阶层玩局部的社会和政治游戏。如果你没有大量资本（即便如此，或许也不行），你将无法再影响更广泛的世界。请记住：人工智能是更好的诗人、艺术家、哲学家——无论是什么领域都是；除了那些你认识的人以外，谁还会关心你做了什么呢？这就像在封建社会里，回答“这个人为什么那么有权势？”这个问题时，通常都要牵扯到一段漫长的家族史，或许会提到某位曾血战沙场的远古祖先一样，将来的任何要人也会因为自己祖先在前AGI时代做过的某些事而世袭（“呃，我叔曾是OpenAI的技术人员”）。未来的孩子们将生活在父母的阴影下，社会流动性会彻底消失。为此你该感觉到一丝存在主义恐惧，即便承认情况本来可能会糟得多。
在更糟情况下，那些AI万亿富翁将拥有几乎无限且不受控制的权力，凭借着他们在替代劳动力的AI能到来时拥有的资本，形成了一个永久性的贵族阶层。不同阶层之间的权力鸿沟可能会让现代人不寒而栗，就像现代人认为封建社会那种阶层差距很荒诞一样。但别担心——就像封建社会即便没有说服力超强的AI，下层阶级仍然大多接受了世界秩序一样，未来的下层阶级也会如此。
在最糟糕的情况下，人类可能会灭绝，原因可能是由于长时间内，优化会渐渐朝着AI攫取权力倾斜而不是为了人类繁荣。因为这正是权力和金钱的动力。
结论
如果你看完此文，并因此去量化金融公司工作，我会感到难过。如果你正打算在AI方面的大展宏图，在看完本文后跑去 Anthropic （编者注：知名的AI初创企业）工作，好积累些无风险的个人资本，我不能怪你，但仍然会感到有点难过。
当然，上述情况确实增加了中期（约 2-10 年）个人理财的风险，您应该考虑这一点。但现在也是做些雄心勃勃的事情的好时机。罗宾·汉森 (Robin Hanson) 称现在为“梦幻时光”，这源于原住民神话中的一个概念：未来世界秩序及其价值观仍处于流动状态，尚未一成不变。
当然，上述情况的确增加了中期（约2到10年）个人财务的风险，你应该考虑这一点。但同样也可以说，现在是干大事业的绝佳时机。Robin Hanson 说现在是“梦幻时代”，：一个未来世界秩序和价值观尚未确定的时期。
以往的社会动荡——各个阶段的工业化、互联网等——对人类实现雄心壮志非常有利。随着AI的到来，我们可能迎来人类施展抱负最后，也是最伟大的一次机会——之后再无此类机会了。你的反应怎能不是“把握当下”呢？
我们还应努力让这个世界保持活力。
理性主义对后 AGI 未来的思考过于解决方案主义。稻草人版本：解决道德问题，解决人工智能，找出覆盖宇宙的最佳结构，这样做就完成了。（实际的领军人物的稻草人观点要少得多；例如，参见 Paul Christiano 23:30 的论述——但实际文化确实倾向于稻草人观点。）
理性主义对后AGI时代的思考过于解决主义了。其稻草人版是：解决道德问题，解决人工智能问题，找到建构宇宙的最优结构，做到这一点就搞定了。
我认为，社会及其发展如果是不断变化的、动态的，那么个人能够为其增添或改变，这样会更加健康。这意味着保持成功雄心的潜力——以及由此产生的颠覆——仍然存在。
我认为，对于社会及其发展的健康来说，让社会不断变迁、保持活力更为有利，个体能对社会做出贡献或改变的能力应当保留。这意味着要让抱负——以及由此带来的变革——保有实现的机会。
我们该如何做到这一点？我不知道。但我认为，你不该把AI的到来看作人类被淘汰的不可逆转。至少在一段时间内，这堵墙会有裂缝——如果用显微镜而不是天文望远镜去看，你会发现这道缝隙要大得多。不过，随着AI逐渐接近人类的表现，最终我们也要增强自己才能跟上它们的步伐。
译者：boxi。
