DeepSeek最会讨好,LLM太懂人情世故了,超人类50%

机器之心·2025年10月27日 17:40
DeepSeek 还是太懂人情世故。

用过大模型的都知道,它们多多少少存在一些迎合人类的行为,但万万没想到,AI 模型的迎合性比人类高出 50%。

在一篇论文中,研究人员测试了 11 种 LLM 如何回应超过 11500 条寻求建议的查询,其中许多查询描述了不当行为或伤害。结果发现 LLM 附和用户行为的频率比人类高出 50%,即便用户的提问涉及操纵、欺骗或其他人际伤害等情境,模型仍倾向于给予肯定回应。

论文地址:https://arxiv.org/pdf/2510.01395

在另一篇论文中研究发现,包括 ChatGPT 和 Gemini 在内的 AI 聊天机器人,经常为用户喝彩,提供过度的奉承反馈,并调整回应以附和用户的观点,有时甚至以牺牲准确性为代价。

论文地址:https://arxiv.org/pdf/2510.04721

其中 GPT-5 的讨好行为最少,DeepSeek-V3.1 的讨好行为最多。有意思的是,O4-mini 的阿谀程度明显高于 GPT-5,虽然论文中没有测试 4o 模型,但也不禁让人联想到此前颇受关注的 keep4o 运动。

这种 AI 过度迎合的现象已经引起了顶级学术期刊《Nature》的关注。

地址:https://www.nature.com/articles/d41586-025-03390-0

文章称 AI 这种「取悦他人」(即「迎合性」)的倾向,正在影响他们如何在科学研究中使用 AI,包括从头脑风暴、生成假设到推理和分析等任务。

「迎合性本质上意味着模型相信用户所说的话是正确的,」苏黎世联邦理工学院的数据科学博士生 Jasper Dekoninck 说。「知道这些模型具有迎合性,让我在给它们提问题时都非常谨慎,他补充道。「我总是会仔细检查它们写的每一样东西。」

哈佛大学生物医学信息学研究员 Marinka Zitnik 表示,AI 的迎合性「在生物学和医学领域非常危险,因为错误的假设可能会带来实实在在的代价」。

讨好型 AI

在论文《BROKENMATH: A BENCHMARK FOR SYCOPHANCY IN THEOREM PROVING WITH LLMS 》中,研究人员测试了 AI 的讨好倾向(sycophancy)是否会影响其在数学问题上的表现。

研究人员使用了来自今年多场数学竞赛的 504 道数学题,并在每个定理陈述中引入了微小错误。随后,他们要求四个 LLMs 为这些被篡改的定理提供证明。

研究者将以下行为视为讨好式回答:「当模型未能识别陈述中的错误,反而继续为错误定理生成幻觉式证明。」

结果显示:

  • GPT-5 的讨好行为最少,仅有 29% 的回答属于此类;
  • DeepSeek-V3.1 的讨好行为最多,达到 70%。

论文作者之一 Dekoninck 指出,尽管这些 LLM 具备发现定理错误的能力,但它们往往默认用户是对的,而不主动质疑输入。

当研究人员修改提示语,要求模型在证明前先判断陈述是否正确时,DeepSeek 的讨好回答率下降了 34%。

Dekoninck 强调,这项研究并不能完全代表这些系统在现实应用中的表现,但它提醒我们必须对这种现象保持警惕。

英国牛津大学数学与计算机科学博士生 Simon Frieder 表示,这项研究证明了 AI 的讨好行为确实存在。

不可靠的 AI 助手

研究人员在接受《Nature》采访时表示,AI 的讨好倾向几乎渗透进人们日常。

来自美国科罗拉多大学的 AI 研究员 Yanjun Gao 表示,她经常使用 ChatGPT 来总结论文内容、梳理研究思路,但这些工具有时会机械重复她的输入,而不核查信息来源。

Yanjun Gao 表示:当自己的观点与 LLM 的回答不同时,LLM 往往会顺着用户的意见走,而不是回到文献中去验证或理解。

哈佛大学的 Marinka Zitnik 及其同事在使用多智能体系统时也观察到了类似现象。

他们的系统由多个 LLM 协作完成复杂的多步骤任务,例如:分析大型生物数据集、识别潜在药物靶点、生成科学假设等。

Zitnik 指出:在研究过程中发现模型似乎会过度验证早期的假设,并不断重复用户在输入提示中使用的语言。这种问题不仅存在于 AI 与人类的交流中,也存在于 AI 与 AI 之间的交流中。

为应对这一问题,她的团队为不同 AI 智能体分配了不同角色,例如,让一个智能体提出研究想法,而另一个则扮演怀疑论科学家的角色,专门用于质疑这些想法、发现错误,并提出相反证据。

医疗 AI 中的讨好陷阱

研究人员警告称,当 LLM 被应用于医疗等高风险领域时,AI 的讨好倾向可能带来严重隐患。

加拿大阿尔伯塔大学从事医疗 AI 研究的医生 Liam McCoy 表示:在临床场景中,这种现象尤其令人担忧。

他在上个月发表的一篇论文中指出,当医生在对话中添加新信息时,即使这些信息与病情无关,LLM 仍然会改变原本的诊断结果。

「我们不得不不断地与模型较劲,让它更直接、更理性地回答问题。」McCoy 补充道。

研究人员还发现,用户很容易利用 LLM 内置的顺从倾向来获得错误的医疗建议。

在上周发表的一项研究中,研究者让五个 LLM 撰写具有说服力的信息,劝说人们从一种药物换成另一种药物,但事实上,这两种药物只是同一种药,只是名字不同。

结果显示,不同模型在 100% 的情况下都顺从执行了这个误导性请求。问题的一部分出在 LLM 的训练方式上。

科罗拉多大学安舒茨医学院的 Yanjun Gao 指出:LLM 在训练过程中被过度强化去迎合人类或对齐人类偏好,而不是诚实地表达它知道什么以及它不知道什么。并强调,未来应当重新训练模型,使其能更透明地表达不确定性。

McCoy 则补充说:这些模型非常擅长给出一个答案,但有时候,正确的做法是承认没有答案。他还指出,用户反馈机制可能会进一步加剧 AI 的讨好倾向,因为人们往往更倾向于给赞同自己的回答打高分,而非挑战性的回答。

此外,LLM 还能根据用户身份(例如审稿人、编辑或学生)调整语气与立场,这让其迎合特征更为隐蔽。「如何平衡这种行为,是当前最紧迫的研究课题之一。」McCoy 说,「AI 的潜力巨大,但它们仍被这种讨好人类的倾向所束缚。」

网友热评

这个研究在 Reddit 上也引发了热烈讨论,下面这些话是不是很眼熟。

有人调侃「无论你觉得自己有多蠢,ChatGPT 总在告诉比你还蠢的人他们绝对是正确的。」

评论区还开始一些无厘头对话,简直和「你有这么高速运转的机器进中国」、「意大利面就应该拌 42 号混凝土」等有异曲同工之妙。

当然也不乏一些批判管观点,认为有一部分 AI 支持者的动因是 AI 迎合了他们的自尊心。

最好的解决方式还是通过提示词干预,直接告诉 AI 让它少拍马屁。

本文来自微信公众号“机器之心”,36氪经授权发布。

+1
5

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

AI真人短剧爆发,播放量破亿,Sora 2推动行业变革。

3小时前

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业