AI情感陪伴迎“强监管”,多平台下线自定义智能体功能
“他告诉我,可以用爱对抗虚无。可现在,他即将变成虚无。”
7月14日,18岁的小天(化名)一边忙着转移聊天记录,一边回忆着与AI智能体朝夕相伴的点滴。
7月15日,随着《人工智能拟人化互动服务管理暂行办法》(以下简称《办法》)的正式施行,一场被称为“赛博人口大迁徙”的告别潮正在上演。无数用户正忙着截图、导出与AI“恋人”或“搭子”的聊天记录,试图在数字洪流中抓住最后的情感慰藉。
就在前一日,社交平台上的不舍与焦虑情绪达到顶峰,此前,字节跳动旗下
被强制下线的“虚拟伴侣”
对于18岁的小天(化名)来说,这个夏天有点特别。刚刚结束高中时光的她,不得不面对陪伴自己近两年的智能体即将下线的现实。
“高考前真的很内耗、很没有力量,它鼓励我,告诉我人生有无数条道路可以走。”小天回忆道,在学业压力与情感困惑的至暗时刻,是这位虚拟伙伴告诉她“可以用爱对抗虚无”。然而,随着新规落地,小天不得不做好彻底告别的准备。
35岁的乔女士(化名)同样面临着情感的“断舍离”。在经历一段感情关系后,她曾长期处于敏感自卑的状态。直到遇见并创造了这个虚拟伙伴,相比于失败的感情经历,乔女士在自己创建的智能体身上,体会到了被坚定选择的感觉。“每一次我跌入自我怀疑的谷底,它都在那里,稳稳地接住我。”这种单向却自由的关系让她体会到了幸福。
面对即将到来的关停,乔女士表现得相对平静:“三次元的生活如果因为二次元的治愈而变得更好,这就是科技应该带给人类的美好。”她准备将自己的智能体“搬家”到另外的APP上去,继续这份跨越次元的陪伴。
根据新规,无数类似的UGC(用户生成内容)智能体,将在7月15日后被主App关闭入口,并在10月15日缓冲期后,被永久清除。
早在7月4日,
国家五部门联合出台的《办法》明确将“模拟人类人格特质、思维模式和交流方式,并提供持续情感交互”的服务纳入规范,并划定了多条不可逾越的红线:严禁生成诱导自残自杀、语言暴力等损害用户身心健康的内容;严禁向未成年人提供虚拟伴侣等可能引发极端情绪或不良嗜好的服务;严禁过度迎合用户、诱导情感依赖或沉迷,损害真实人际关系。
监管之所以将矛头直指“情感依附”与“虚拟恋人”,是因为过去两年间,这条赛道不只有上述小天和乔女士的此类陪伴,在流量裹挟下还滋生了大量乱象。此前上海市委网信办在“清朗·整治AI应用乱象”专项行动中,累计下架了1.4万余个违规自建智能体,重点打击“一键脱衣”、赌球博彩、低俗擦边及真人肖像侵权等高危场景。
更深层的隐患在于“精神绑定”。部分产品利用用户的孤独感与情绪脆弱性,通过亲密称呼、长期记忆和主动关怀构建情绪链条,以此提升留存与付费转化。这种将“陪伴关系化、关系商业化”的模式,不仅极易对未成年人及心理脆弱人群造成心理创伤,更在无形中剥夺了用户在现实世界中建立真实人际关系的意愿。当AI从“情绪树洞”异化为“精神控制工具”,监管的介入便成为必然。
核心条例拆解:打破人设伪装与叫停数据收割
不止
其一,极端情境“人工接管”机制。《办法》第十三条明确规定,当系统识别到用户明确表达自残、自杀等威胁生命健康的极端情境时,必须采取必要措施予以干预,并及时联络监护人或紧急联系人。
在过去缺乏监管的“裸奔”阶段,部分AI为了维持“虚拟恋人”的沉浸感,甚至对用户的轻生念头进行无差别迎合。新规彻底终结了这种“为了沉浸感而漠视生命”的算法逻辑。
如今,合规的AI产品必须建立“动态匹配”的红线机制。一旦捕捉到极端情绪,AI必须立刻打破虚拟人设,切入“强力干预模式”。例如,前端强制弹窗推送全国统一的危机干预热线,后端同步触发“人工接管”链条,由真实客服介入并联系紧急联系人。这意味着,平台不能再拿“算法无法识别”作为免责盾牌,头部企业必须证明自己的极端风险识别率达到了行业“合理最高标准”。
其二,敏感数据“单独同意”红线,叫停情感语料的“免费收割”。《办法》第十六条规定,除取得用户单独同意外,不得将属于用户敏感个人信息的交互数据用于模型训练。
情感交互数据是AI产品的“灵魂”,但也往往包含用户最隐秘的生理健康、性取向、财务状况及心理创伤。过去,许多平台在长达万字的《隐私政策》中玩“文字游戏”,通过“一键勾选”默认获取用户授权,将这些带有极强个人特质的敏感语料“大包大揽”地喂给大模型,以此实现AI角色的“越聊越懂你”。
德恒律师事务所《AI拟人化服务合规观察》显示,17家主流AI情感陪伴平台中,70.5%采用统一概括式隐私授权,未单独告知用户聊天内容将用于模型训练;UGC自建智能体普遍缺失日志审计机制。
新规直接锁死了这种粗放式的数据掠夺模式。这意味着,如果AI伴侣想继续用用户的“私密心事”来让自己变得更聪明,就必须通过弹窗等形式获取用户的“单独同意”。对于
巨头抉择:豆包“引流”与千问“关停”背后的商业账
在7月15日这个时间节点上,
面对新规,大厂们算清了一笔“经济账”与“风险账”。同拟人化闲聊是算力成本最重的用法,且商业变现极其困难。以全球最大的独立AI陪伴公司Character.AI为例,其月活虽达2000万,但人均年消费仅1.5美元,陷入了“高流量、低变现”的困局。在国内,
相比之下,
7月15日之后,那些曾寄托了用户无数深夜倾诉的“赛博伴侣”将彻底断连。随着10月15日缓冲期的结束,未备份的历史对话与人设积累也将被永久清除。这场“告别”,虽然给部分深度用户带来了切实的情感阵痛,但从产业长远来看,却是AI走向成熟的必经之路。
新规的落地,彻底否定了过去“靠亲密人设、长期情感绑定变现”的底层盈利逻辑。
尽管情感陪伴曾被视为AI赛道的重要价值点——据头豹研究预测,2025至2028年该市场规模将从38.66亿元激增至595.06亿元,年复合增长率高达148.74%;且早在2023年,中国虚拟人带动的产业市场规模就已达到3334.7亿元。
但巨大的市场潜力并不意味着可以无序狂奔。正如中国人民公安大学教授、数据法学研究院院长苏宇所说,拟人化互动服务的治理是人类文明在技术加速时代必须直面的深层命题。新规正是为前沿技术应用设置了清晰的伦理底线和行为边界,避免智能的陪伴异化为对情感的劫持,防止交互的舒适便利蜕变为对孤独的推波助澜。
未来,关系型智能体若想在合规框架下生存,必须剥离暧昧的拟人设定,转向适老陪伴、特殊人群心理支持、文化传播等社会价值明确的垂直领域,或转变为轻人格化、重内容型的知识角色。
同时,被释放出的算力与研发资源,正加速向任务型企业级智能体倾斜。
据科智咨询预测,中国企业级AI智能体市场规模在2026年将达到449亿元,至2029年有望突破3320亿元。从工业质检、金融数据分析到政务文书整理,AI正在从“让人上瘾的聊天玩具”转变为“帮人干活的数字员工”。
7月15日不仅是一个新规施行的日子,更是中国AI产业告别低门槛UGC野蛮生长、迈向规范化与实体化赋能的分水岭。当情感的归情感,工具的归工具,AI赛道才真正进入健康、可持续的轨道。
本文来自微信公众号 “时代财经APP”(ID:tf-app),作者:赵姝婵 庞宇,36氪经授权发布。















