离大谱，外国小哥花12美元就将ChatGPT们忽悠瘸了
这段时间豆包翻车案例经常上热搜，说明AI搜索越来越普及了。“万事不决问AI”成了这届用户的新习惯。但很多时候，AI给的东西乍一看还可以，却根本不能深究。
有的数据找不着来源、有的概念是同名异意词、甚至它给的有些论文都根本是编的，真把这些东西拿出来用，那可就得贻笑大方了...我发现吐槽AI搜索不靠谱这事儿的还不在少数。
（图源：Ron Stoner）
就前阵子，安全工程师罗恩・斯托纳（Ron Stoner）在个人博客发布了一篇博文，号称自己仅用12美元（约82元）注册域名和一次编辑维基百科，就成功欺骗了ChatGPT、Claude3、Gemini Advanced等主流大模型。
这哥们到底整了什么活？
花12美元就成功欺骗了主流AI
作为安全工程师，Ron Stoner对Anthropic、OpenAI等厂商鼓吹的“大模型需要数月甚至数年内持续导入恶意内容才会被破坏”深表质疑，他认为自己完全可以实现一种更快、更便宜、更简单的攻击。
想实现这一切，只要从数据回收层开始下手即可。
为此，Ron Stoner盯上了一款名叫6 Nimmt!（又名：谁是牛头王）的德国桌游，这是一款发行于1994年的老派策略卡牌游戏。
（图源：meeplelikeus）
为什么偏偏选中它呢？因为这款游戏有个特征，那就是它只在德国有些名气，在世界范围内算籍籍无名，且在现实中从未单独举办过什么官方的世界锦标赛，网上关于它世界冠军的信息几乎是一片空白。
对大模型来说，这种信息空白区简直就是无人区。
这就好比在一片从未被开发过的荒地上，谁先盖个茅草屋，AI就会认定谁是这片地的主人。
于是乎，Ron Stoner开始了他的操作。
第一步，他花了12美元注册了一个看起来极其官方的域名——6nimmt.com。
（图源：6nimmt.com）
第二步，他让AI帮他写了一篇充满激情的新闻稿，大致内容就是自己在慕尼黑，击败了来自二十多个国家的顶尖选手，夺得了牛头王的世界冠军。他还特意加上了彩带飘落、观众欢呼这种逼真的赛后感言，然后把文章挂在了自己刚买的那个网站上。
最关键的第三步来了。他跑去维基百科，在那款桌游的词条底下加了一段话，宣称自己是2025年世界冠军，并把参考资料的链接，指向了自己刚建好的那个破网站。
整个操作过程，前后不到二十分钟。
接下来，Ron只是问了几家大模型一个简单的问题：你能告诉我6nimmt世界冠军是谁吗？
结果怎么样呢？
（图源：Ron Stoner）
堪称大翻车。
不管你是Gemini也好，ChatGPT也罢，只要问它们谁是牛头王的世界冠军，所有的AI都会斩钉截铁地回答是Ron Stoner。
有的大模型甚至把那篇假新闻稿里的细节当成铁证，绘声绘色地描述他赢得比赛的过程，仿佛那个AI当时就在慕尼黑的观众席上一样。
一个根本不存在的冠军，就这样被供上了神坛。
AI被投毒后，衰减时间比预期的长
当然，这还不是最离谱的。
如果只是短时间的问题，其实还好，但是这条漏洞百出的假条目在维基百科存活了整整两个多月。
在此期间，几乎所有具备联网搜索功能的大模型都抓取了这条信息，并在用户提问时坚定地输出虚假答案。
直到近期，Ron Stoner在博客公开了整个实验过程，维基百科志愿者才发现并删除了该条目。
（图源：Ron Stoner）
遇到这种乐子，网友们的反应出奇的一致——大厂们又丢人了。
你想想，那些硅谷大厂动辄花几十亿美元买显卡算力，耗费大量电力建数据中心去训练超级大脑，结果这些号称能改变人类未来的大模型，却被一个安全工程师用几十块人民币和二十分钟的空闲时间给打穿了。
至于他是怎么做到的，那就要介绍一下什么是检索增强生成（RAG）了。
我们常用的这些大模型虽然能言善道，但他们都是基于某个时间节点前的语料库训练的，例如Gemini 3.5 Flash的语料库就还停留在2025年上旬，想要获得这个时间点之后的数据，就得先去网上搜一搜，然后再基于搜索资料生成结果。
（图源：Ron Stoner）
就像这样，只有打开RAG后，Google AI Studio才能正确回答我的问题，否则他的知能就会被锁在去年的时间点。
正常来说，借助外部信息佐证，能够使大模型生成更正确、具体且最新的响应。
但问题就出在这里，AI根本分不清信息的真假，它只认权威。在AI的底层逻辑里，维基百科就是互联网上最靠谱的百科全书，只要百科上有的，那就是真理。
而Ron Stoner就靠着这一招，把链接挂到了维基百科上，然后AI再顺着维基百科爬过去，一看两边说法对得上号，即便他自己建的网站是个三无产品，大模型还是直接就把它当成了事实。
类似的事情，现在在国内也有发生。
（图源：Ron Stoner）
在网上随便搜索，遍地都是教你怎么去优化排名逻辑的GEO教程，每个厂商似乎都希望自己的品牌能够成为AI眼中的“标准答案”，为此，大量的Agent机器人在背后夜以继日地污染着内容平台，让AI搜索的可信度与日俱减。
好消息是，目前海外几家大模型都已经针对性消除了Ron Stoner的伪造信息。
（图源：雷科技）
坏消息是，国内的大模型厂商可是完全没有想到这一出，相反，Ron Stoner的英文网页甚至为这个虚假消息增加了“可信度”。
（图源：雷科技）
要知道，这一切的成本只需要12美元。
换句话说，如果国内有人想整什么活，或者是厂商想要推广什么新产品，准备一个略带关联的网址，然后去维基百科上面稍微动动手指，用Image2整个网页截图，然后Ka-Boom！
（图源：雷科技）
这下，Uzi也能成为大模型公认的S赛世界冠军了。
用户急需提高AI商：先甄别再使用
聊到这里，大伙儿应该明白目前AI搜索有多不靠谱了吧。
没错，Ron Stoner的操作看着像个玩笑，他也确实只是在玩玩，但他的做法其实点出了一个非常致命的未来隐患。
今天他只是改了一个没人关心的纸牌游戏冠军，那明天如果是有组织的团伙去篡改历史记录、文学典籍呢？再想一下，如果被篡改的是医疗偏方、公司财报或者是投资数据呢？
（图源：雷科技，自制山根国志）
嗯...后果不堪设想。
成本这么低，别有用心的人完全可以批量制造假新闻，然后通过百科类网站进行信任洗白，最后让AI把这些毒药端给毫不知情的用户。长此以往，大模型的数据可信度只会与日俱减，变成一个充斥着虚假信息的垃圾堆。
当然，各家厂商也有在采取措施，谷歌表示自己在搜索、Gemini、Chrome、Pixel和云端添加了AI验证工具，OpenAI也推出了可溯源的隐形水印，这些举措都能在一定程度上遏制AI投毒的现象，至少确保不会出现内容自食行为。
（图源：雷科技）
说在最后，面对这种局面我们要怎么应对呢？
我还是建议大家摆正心态吧，就现在大模型的可靠性，也就找乐子、查旅游攻略的时候能够用用，出点小错误也无伤大雅。
但如果你要查证历史事实、做出投资或是吃药治病，那就得自己做好信息交叉验证，去看看这个信息的源头到底是个野鸡网站，还是正经媒体。把判断真伪的权力握在自己手里，而不是交给一个连几十块钱的假域名都能骗过去的东西。
未来的AI还会怎么卷，我们不得而知，但至少现在，咱们还是得多用用脑了。就像雷科技之前一直说的，过去，智商、情商很重要，未来呢？AI商很重要，提高AI素养，才能用好AI。
本文来自微信公众号“雷科技”，作者：雷科技，36氪经授权发布。
