严格限制AI违规内容输出,豆包、元宝、千问、文心一言被点名
9月2日,中央网信办通报 "清朗・整治 AI 应用乱象" 专项行动第二阶段进展。一组数字摆在台面上:累计清理违法违规信息 561 万余条,查处账号 4.9 万余个,处置违规网站、应用程序 2400 余个。
通报中点名了四家头部大模型平台 ——
其实在今年3月,国家网信办、工信部、公安部、广电总局四部门联合发布《人工智能生成合成内容标识办法》,配套强制性国家标准《网络安全技术 人工智能生成合成内容标识方法》(GB 45438-2025)同步出台,两者均于 2025 年 9 月 1 日起正式施行。
办法要求服务提供者在生成的文本、图片、音频、视频上添加显式标识,并在文件元数据中嵌入包含属性信息、服务提供者名称或编码、内容编号等制作要素的隐式标识,日志留存不少于六个月。
换句话说,AI 生成的内容从诞生那一刻起就被要求 "自带身份证",看得见的水印和看不见的元数据双重绑定,下载、转发都不能抹掉。
01
制度落地半年后,效果有了初步量化。
今年2月,中央网信办网络管理技术局局长于永河公开披露,
此次专项行动第二阶段通报,相当于在标识制度基础上又拧紧了一圈螺丝,不仅要 "打标",还要从语料源头和输出环节把违规内容堵回去。
通报同时披露了七类典型案例,覆盖面之广几乎囊括了当前 AI 乱象的全部形态。
有人用 AI"魔改"《三国演义》《西游记》,颠覆人物人设、虚构猎奇剧情,被称作生成 "数字泔水";有人合成虚假灾害现场和救援画面,编造社会热点,甚至打造 AI 数字人带货误导老年人;有人靠 "换脸"" 换声 "假冒公众人物,生成低俗图片视频牟利;还有人批量制作 AI 生成的未成年人怀孕、打架内容,传播" 毒动画 ""邪典" 视频。
此外,利用 AI"托管" 软件模拟真人运营账号、从事网络水军活动,以及部分 AI 应用的智能体封面和对话中含有淫秽色情信息,也被列入查处范围。这些案例中的账号均已被依法依约处置,对拒不改正的平台则按程序采取警告、罚款、下架或关闭等措施。
02
属地监管也在同步推进。
北京网信办指导平台升级审核策略,提升对违规内容新型变体的识别能力;上海推出 AI 应用 "知识普及包",引导公众识别风险;浙江对重点平台开展 "一企一策" 合规问诊;广东则召开重点平台工作例会,对多款应用点对点督促整改。
抖音、快手、微博、腾讯、百度、哔哩哔哩、小红书、知乎、豆瓣、淘宝等平台优化多模态识别模型,动态扩充人脸库、声纹库和违规样本库,上线人脸实时治理系统,累计发布各类治理公告 46 期。华为、小米、OPPO、vivo 等应用商店也收紧了开发者准入和上架抽检。
这与此前一轮合规调整中的表现形成对照。今年 7 月,《人工智能拟人化互动服务管理暂行办法》施行当日,
彼时人民日报评论称,这场合规调整 "恰是我国人工智能治理从 '包容探索' 迈向 '规范提质' 的生动注脚"。而这一次,监管口径更侧重于 "源头防范" 和 "标识落地"。
从 1500 亿条标识内容到 561 万条清理信息,两个数字之间的落差,恰恰说明治理仍在进行时 —— 标识制度解决了 "看得见" 的问题,而语料审核和输出限制要解决的,是 "生不生得出来" 的问题。
对头部平台而言,这道题没有终稿,只有迭代。















