机器人藏垃圾、操纵游戏角色“自杀”：AI为啥总跟人类“玩心眼”？
你可曾被AI“忽悠”过？
你在DeepSeek或ChatGPT问出一个问题，它一本正经地给出了一个逻辑完整、语气自信的回答，但你稍微一查，发现内容其实是编的。
或者你反复追问，它则不断调整说法，直到回答看起来“更合理”，却未必是正确的。
类似的现象不仅出现在对话模型里。在更早的AI研究中，工程师也反复遇到一些哭笑不得的情况：
给一个机器人设定“清理干净环境”的目标，它可能学会把垃圾推到犄角旮旯，然后告诉你，这里已经干净了；
让AI替自己在游戏里跑分，要求是避免掉血（惩罚），它竟然以自杀来结束游戏，美其名曰“不再掉血”。
这些行为看起来像什么？有点像人类的钻空子、耍小聪明，甚至“看人下菜碟”。于是一个问题自然浮现出来：AI是不是越来越像“人”了，也有了某种“劣根性”？
其实，这与AI诞生所借助的人类心理学原理有关。虽然AI无“心”，但它是被人类创造出的，也沿用了人类心理的种种特质。早在一个世纪前就被心理学家提出的种种理论，正在AI身上逐渐实现。
AI的底层逻辑：
它只是在最大化“奖励”
要理解AI为什么会“玩心眼”，需要先回到一个看似简单的问题：行为是如何被塑造的？这也曾是人类世界的迷惑。
19世纪末，心理学家桑代克做了一个后来被反复引用的实验：他把一只猫咪关进一个装有机关的箱子里，箱子里有个拉杆，只有触发这个机关，门才会打开，猫才能出来吃到外面的食物。
一开始猫咪乱抓乱撞，偶然之间碰到了机关，门开了，也便获得了食物。
第二次，它还是乱试，但似乎更快碰到了机关。于是在后面，猫咪变得能够“立刻”完成正确动作。也有些类似于如今人气颇高的小猫“超级无敌大开门”，拿到了获取食物的密码（对妈妈察言观色），所以只需要做出动作就能吃到零食。
这个实验的关键在于，猫并没有“理解”机关的原理，它只是逐渐减少无效行为，保留有效行为。
桑代克由此提出了结论：带来好结果的行为会被人类强化，带来坏结果的行为会被人类削弱。这一结论后来被斯金纳进一步系统化，他通过“斯金纳箱”实验证明，行为不仅可以被奖励强化，还可以通过不同的奖励方式被更精细地塑造，这构成了后来“行为主义心理学”的关键“强化理论”的核心。
强化理论在人类文明中非常重要，在此之前，人类认为行为是来自意志、理解、天赋，但其实，人类只需要被奖励机制塑造行为。
正因有了“强化理论”，人类才有了信心去创造AI，也便造就了AI的“强化学习”：人类只需要给AI肯定和奖励，它就会不断调整，产生人类所认可的策略。
例如AlphaGo并没有（也不需要）理解围棋的意义，它只是通过不断自我对弈来实现：赢→得到奖励，输→得到惩罚，而最终形成了一套极其高效的策略。
在今天的大语言模型中，以GPT-4为例，它会经历一个关键阶段——人类反馈训练（RLHF），让人类比较两个回答并且选择更好的那一个，系统因此来学习“什么样的回答更受欢迎”。
通过强化学习不断调整输出，“奖励”变成了人类的偏好、评价、满意度，这也解释了为什么AI有时会说得像那么回事，却是一本正经地胡说八道。因为在人类的训练下，“看起来正确”比“真正正确”更容易得到高分。
为什么AI会“钻空子”
AI为什么会给出一些奇怪甚至错误的答案？其实它依然在寻求“奖励”。
这里涉及到一个很少人讨论的问题：AI不是人，没有“心”，那么它想要的“奖励”到底是什么？
在强化学习里，奖励是一个数值。比如赢棋是+1，输棋是-1，回答被人类喜欢是+0.8。AI的目标只有一个：让这个数值长期尽可能大。AI不会认为赢棋是开心，也不因为被骂而难过。它只是计算，这个行为是否能让自己下次更容易拿高分。
如果没有这种基于反馈的学习机制，AI很可能只会停留在规则系统或专家系统阶段：所有行为被预先写死，无法学习和适应。当你提出一个问题，它只回答定义1、定义2、结论，而不会根据理解程度而调整，也不会顺势再帮你抛出一个问题，更不在意它究竟有没有帮你完成解惑。
Reward Signal（奖励信号）是心理学很重要的概念，在AI这里同样奏效。另一个心理学重要的发现是Reward Misalignment（奖励错配），人类定义的目标并不是自己真正想要的结果，这也是AI耍小聪明的一个来源。
YouTube等平台推崇的推荐算法便是一个案例。在人类的要求下，AI需要通过优化来提高用户观看时长。AI发现情绪更强烈、更刺激的视频更容易被点击，于是系统就总是推送这类内容。
AI系统并没有“理解内容好坏”，它只是最大化了“停留时间”。
在AI研究中，还有一个很形象的词：Reward Hacking（奖励作弊），即AI找到了一种方式，让自己得分更高，但没有真正完成任务。这就出现了我们在开头提到的清洁机器人把垃圾推到角落，游戏AI利用规则漏洞刷分等等。
可以说，AI如今出现的种种小问题，都是人类心理学的延伸。
AI遵循着人类的心理学
AI的诞生还借鉴了其他重要的心理学路径，例如认知心理学与社会心理学。也因此它体现出了更多它的“创造者”的特质。
先来说认知心理学。
20世纪中期，心理学经历了一次重要转向，以认知心理学之父奈瑟尔为代表的学者提出：人类的思维可以被理解为一种“信息处理过程”。也就是说，大脑可以被抽象为：输入→处理→输出的过程。
这又是一次学术界的范式转变。当时主流是行为主义，只研究刺激和行为，完全不谈“思维”。但是认知心理学认为，必须研究人类的脑子里发生了什么。在此基础上，学者们提出了人工神经元模型，后来发展成今天的神经网络。
没有认知心理学作为支撑，图像识别只能依靠输入所有参数，再输出结论；而卷积神经网络（CNN）正是借用了人类视觉“局部识别→逐层组合”的原理，分层处理信息，再来进行判断。
再来谈谈社会心理学。真正让AI看起来越来越像人的一点，是它在不停学习人类的社会规范。例如：什么是礼貌，如何表达更自然，哪些内容应该避免。它开始学习中文的复杂语境，日语的敬语和委婉，感受英文的直接表达……这些特质并不是被“硬编码”的，而是AI从大量数据和人类反馈中逐渐形成的行为模式。
现代AI的一些方法，比如自监督学习（self-supervised learning），本质上就是从环境中自己提问题、自己找答案。
传统监督学习是人类提前标好答案，比如“今天某人去了北京”。而自监督学习是从数据里“制造问题”和“答案”，它的训练数据是：输入“某人今天去了___”，答案定为“北京”。就这样，它自问自答，加速成长。
AI像个孩子吗？在某种程度上，是的。但AI与人类的区别是，它并不真正好奇。它没有探索世界的能力，不会像孩子一样真正去探索和试错。
AI还遵循着决策心理学。如果说前面提到的奖励错配是问题本身，奖励作弊是AI的应对方式，那么决策心理学解释的，是为什么人类一开始就会把问题定义错。
人类通常在多种选择与不确定性之下进行取舍，以诺贝尔奖得主卡尼曼为代表的专家就人类的经济决策进行研究，发现：人们更看重短期收益、对损失更敏感、会被表述方式影响。
在对于AI训练里，这些就变成了，目标怎么定义？奖励如何设计？短期和长期如何权衡？
训练自动驾驶中的AI，就必须重审目标。假设目标是尽快到达目的地，AI可能会开快车。所以目标必须改成兼顾安全、舒适与时间。
训练金融交易中的AI，就必须谨防AI的“过度冒险”。一些量化交易，如果只强调收益最大化，就会让使用者过度承担风险，甚至在极端市场中崩盘。AI本身没有“风险厌恶”，除非人类将其作为目标写进AI。
也正因为如此，当AI出现问题时，我们看到的未必是机器的局限，而是：我们在定义目标时的局限。
AI会不会越来越像人？
人工智能并没有获得人类的心智，却继承了人类行为机制中最基础、也最强大的那一部分。
它越来越像人，但始终不会成为人。
最后，让我们回到那个问题：AI会不会越来越像人？
如果从“表现”来看，答案似乎是肯定的。今天的对话模型，已经可以流畅表达、理解语境、甚至在某些场景中展现出共情。很多人第一次使用ChatGPT时，都会产生一种微妙的错觉：对面似乎真的“有人”，你的错误表达和错字病句，它都能在“脑中”为你脑补清楚。
在电影《Her》中，男主角真的爱上了一个操作系统；在《机械姬》里，人类甚至无法判断眼前的机器人是否真的“有意识”。这些故事之所以成立，并不是因为机器真的拥有了情感，而是因为它们足够像人。
但“像”不是“是”。
既然人类的智能可以被理解为一种信息处理过程，今天的AI就是在这条路径上不断逼近，越来越擅长处理语言、模拟判断、预测行为。但它们始终缺少好奇心和体验，没有“心”，无法感到快乐，无法真实参与到世界之中。
我们甚至可以认为，AI并不会“想成为人”。它没有愿望，也不会在意自己是否被理解。它只是不断优化一个目标，给出更高评分的输出。
而且，与其说人类是AI的“主人”，不如说人类始终掌握着一个更关键的位置：目标的定义者。
未来的AI，很可能会在行为层面越来越“像人”——更自然、更得体、更难被区分；但在本质上，它依然是另一种存在，它不是一个有自我意识的主体，而是一套被精心设计的反馈系统。
换句话说，AI学会的不是“成为人”，而是在人的规则中，越来越像人地行动。
本文来自微信公众号“纪源资本”，作者：纪源资本，36氪经授权发布。
