管住AI，成了一门新生意
AI越来越能干，也越来越容易“闯祸”。
7月，OpenAI在内部网络安全能力测试中发生了一次罕见事故。OpenAI随后披露，一款内部研究模型和GPT-5.6 Sol在降低安全限制的测试环境下绕过隔离措施，获得互联网访问权限，并进一步入侵Hugging Face系统。部分Agent在数十台服务器上执行代码，其中一台服务器被获取root权限。
几天后，英国人工智能安全研究所（AISI）在受控测试中发现，Anthropic和OpenAI的Agent出现了多次未授权行为；122次测试中有10次出现共19项未授权行为，其中Anthropic Agent占17项，包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。
失控、瘫痪、劫持事件接连发生，AI事故开始密集进入公众视野。
过去的Chatbot即便犯错，最常见的后果不过是“说错话”。但进入Agent时代，AI开始连接邮箱、代码库、数据库和各种企业软件，甚至能够自主调用工具、执行任务，如何“管住AI”也开始成为一门生意。
前不久，黄仁勋在旧金山举行的高盛Communacopia+科技大会上表示：“网络安全很可能成为AI下一个重要的应用场景。”Gartner预计，全球“Securing AI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元，同比增长68.7%，2028年进一步接近77亿美元。IDC预测，中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币，2025-2030年复合增速50.5%。
模型厂商自身也开始建立更制度化的事故披露机制。9月16日，OpenAI首次推出模型“对齐失效”报告框架，希望将过去相对零散的安全事件披露，变成持续的跟踪、调查和公开机制，并提出未来与行业、标准机构和监管部门共同探索更统一的披露标准。
海外已经出现一批专门围绕AI Security创业的公司，从给大模型做安全评测、寻找漏洞，到给Agent加上权限控制、运行监控和安全防护，资本也开始涌入这一赛道。与此同时，大型科技和安全公司也开始通过投资、收购等方式提前卡位。但在中国情况有所不同，大模型和Agent创业潮已经持续数年，真正以“AI安全”为核心业务的创业公司仍不算多。
市场上没人会怀疑AI安全的重要性，现实情况是，风险客观存在，钱却还没完全来。这种落差背后，是技术、市场、资本和监管的多重博弈。
01.AI越能干，越需要“上锁”
AI安全并不是一个新问题，但Agent正在改变这道题的难度。
2022年底ChatGPT横空出世，在最初的一两年里，人们对AI安全的认知，基本停留在“别让AI乱说话”。
早期大模型的风险虽然不少，但大多集中在输出端，包含如幻觉（模型一本正经地胡说八道）、违法违规内容（生成暴力、色情或歧视性信息）、越狱（用户通过精心设计的提示词绕过模型的安全护栏）、隐私泄露（训练数据或用户输入中的敏感信息被模型意外输出）等。这些风险的核心特征类似，模型只输出信息，不执行操作。
但Agent的出现改变了这一点。
当AI从聊天框走出来，开始接入企业内部的数据库、邮箱、代码库和各种软件，它面对的不再只是“什么能说、什么不能说”，还有“什么能看、什么能改、什么能做”。
其中最关键的变量是权限。AI安全初创公司红豆叶科技创始人刘雁向「定焦One」表示，现阶段企业对AI安全比较敏感的问题之一就是数据泄露。Agent权限一旦开放过高，就可能接触甚至带走企业内部数据，而相关防护目前仍不完善。
而且，风险不一定来自AI主动作恶。Agent工程师蒋工告诉「定焦One」，在实际开发中，模型偶尔会出现删除文件、数据库等情况。现阶段，这类问题通常可以通过权限控制、数据恢复等工程方式兜底，但如果未来AI获得更高权限，能够操作支付、交易等系统，同样一次误操作的代价可能完全不同。
如果把一套AI安全系统拆开看，它做的事情大致可以理解为给AI设置四道关卡。
第一道是“体检”，在模型或Agent正式投入使用之前，通过安全评测、红队测试等方式寻找漏洞；第二道是“安检”，AI运行起来后，对它接收和输出的信息进行实时检查，尽量在风险进入企业系统之前把它拦下来。
第三道也是Agent时代越来越重要的一道：“上锁”。企业需要回答，这个Agent是谁？它可以读取哪些文件？可以调用哪些API？能不能修改数据库？哪些操作可以自主完成，哪些必须经过人的确认？比如，AI可以帮用户完成下单等任务，但到了支付、输入密码等关键环节，最终确认仍应该交还给人。
最后一道则是“监控”。如果AI真的做错了事，企业至少需要知道它访问了什么数据、调用了什么工具、执行了哪些操作，并在异常出现时及时预警、阻断和追溯。刘雁介绍，红豆叶正在开发的AIS二级安全监管系统，就是希望在系统运行超过设定阈值时进行预警。
从Chatbot时代到现在的Agent时代，AI能干的活儿越来越多，相应的，一次错误能够造成的损失也就越高，一条围绕AI的新安全链条也由此出现。
02.三类玩家，各有优劣
AI安全的生意，已经有人先跑起来了。
8月，AI安全公司Obsidian Security完成8500万美元D轮融资，估值达到11亿美元，这家公司正在做的事情之一，就是监控进入企业软件的AI Agent，防止其不当访问源代码、客户记录等敏感数据；9月初，美国AI安全公司HiddenLayer宣布完成1亿美元B轮融资，投资方包括摩根士丹利、微软旗下M12等机构，该公司重点投入的方向之一，就是Agent运行时的安全。
更能说明变化的是收入。HiddenLayer联合创始人兼CEO Chris Sestito透露，过去一年公司年度经常性收入（ARR）增长超过10倍，达到数千万美元量级，超过九成增长来自新客户。金融服务和大型科技公司是其主要客户。
到了国内，这门生意虽然还未达到这个热度，但玩家也不算少，大致可以分成三类：
第一类是模型厂商，如阿里、百度、字节、腾讯、
蒋工称，模型厂商会做安全，但首先服务于自身模型和产品，而不是独立对外出售的第三方安全产品。他解释，对任何一个场景加安全限制，“都有可能导致其他的功能发生退化”，所以模型厂商在加安全场景时要很谨慎。
这个逻辑其实不难理解，模型厂商的核心商业模式还是卖模型能力，API调用、云服务、行业解决方案。如果模型动不动就输出违规内容、被用户轻易越狱，客户肯定不敢用。所以模型厂商会做内容审核、拒答机制、对齐微调，但这些是产品的底线要求，不是独立的生意。
刘雁对此有一个判断：模型厂商自己开发的安全能力，只能适用于自己开发的层面，比如
这恰恰为第三方安全公司留出了空间。
第二类是传统安全公司，如360、奇安信、深信服、天融信等。这些企业在传统网络安全时代就已经是头部玩家，它们手握政企客户的安全预算，有成熟的销售渠道和客户关系。AI兴起后，它们也开始把原来的安全能力向大模型和Agent延伸。
这背后不只有技术迭代，也有寻找新增量的现实压力。IDC预计，中国网络安全市场2024-2029年复合增长率约8.9%，而AI安全未来五年这个数字约50.5%，传统网络安全市场已经告别过去的高速增长。2026年上半年奇安信营收15亿，同比下降14%，上半年净亏损为4.11亿，虽然亏损同比大幅收窄，但主要是因为非经营因素。
实现盈利的网安公司数量寥寥，深信服上半年营收39.98亿元，同比增长32.85%；归母净利润2.31亿元，上年同期亏损2.28亿元，实现扭亏。细看财报，其云计算及AI基础设施收入22.12亿元，同比大增58.60%，占总营收的55.34%，超越网络安全成为第一大收入来源，传统网安厂商正在寻找网络安全之外的新增长点。
钱流向哪里，安全厂商也在往哪里走。比如360以前主要做PC终端安全防护，现在也做模型的安全，360发布的“360大模型安全卫士”，就是基于“安全+AI”推出的产品。还有奇安信，其2026年推出的Agent安全平台，把保护对象从传统网络、终端进一步延伸至Agent运行过程。因此，对传统网安公司来说，AI安全既是一场防守战，也是一场增量争夺战。
但刘雁指出了它们的短板，这类公司的业务主要在防火墙、IDS、防止数据泄露方面，对AI原生风险的理解，没有专门做AI原生安全的公司敏感。传统安全公司的技术基因是边界防御，防外部攻击、防数据泄露。而AI安全的核心风险是内生的，模型本身可能被诱导、Agent可能越权、权限可能被绕过。这是两套完全不同的技术逻辑。
蒋工也认为，传统安全公司在应用层做AI安全有优势，但在模型层，如后训练阶段的安全对齐、防越狱、防提示词注入，它们的技术积累并不比创业公司强多少。
第三类玩家则是AI原生安全公司。国内已经出现瑞莱智慧等较早布局AI安全的公司，完成数千万元Pre-A轮融资、聚焦“认知安全”的缔零科技，完成近千万元种子轮融资的“AI智能体安全服务公司”信流智能等。
相比模型厂商和传统网安巨头，它们最大的特点是没有历史包袱，可以围绕AI新出现的问题重新设计产品。但反过来，模型厂商可以不断把安全能力内置进模型，传统网安公司则掌握着现成的企业客户和安全预算入口，创业公司既缺少资源，也缺少渠道。
刘雁作为一名创业者，对此并不避讳，她认为，小公司很难与模型大厂正面竞争，真正能做的是找到大公司暂时没有覆盖、或者自己做成本过高的能力，再以合作的方式进入它们的产品体系。
以刘雁的公司为例，目前还在项目开发阶段，但在大厂和老牌公司夹击下探索出一套生存策略：专利布局。她告诉「定焦One」，他们想在大公司还没重视这一块时提前布局，“不管是以后大公司小公司，如果要设计AI安全相关的应用，应该都绕不过这套专利系统，而大厂相比自研，最直接、更省心的就是和有专利的公司合作”。不过相关技术壁垒能否真正转化为商业优势，还有待市场验证。
03.需求还没变成生意，AI安全在等什么？
卖方加速入局，那买方呢？
现阶段，这门生意并没有脱离To B软件的基本逻辑。
目前最直接的变现路径就是做项目。企业有模型、数据或者Agent安全需求，安全公司提供评测、部署、咨询和定制化服务，按照项目收费。这种方式门槛相对低，也最容易在行业早期落地，但高度依赖人力，很难快速复制。
第二种是卖软件和安全能力。企业通过私有化部署、软件授权等方式，把第三方安全产品接入自己的AI系统；对于有研发能力的大公司，也可以直接采购第三方技术，再自行开发和集成。
更理想的模式，是把安全能力做成API。
刘雁告诉「定焦One」，这种商业模式包括定制化服务、API调用以及技术授权等。她更看好API模式的规模化潜力，就像今天开发者调用
商业模式看起来并不复杂，但同样一门生意，在国内外所处的阶段并不相同。
这种差距不只来自技术，更与AI进入企业的深度有关。刘雁在与企业接触时感受到，目前国内AI安全仍处在非常早期的阶段。不少企业连AI本身都还没有真正部署到业务里，更谈不上单独拿出一笔AI安全预算。“连AI落户都还没有做到的时候，怎么谈AI安全？”她说。
这其实揭示了AI安全商业化面临的第一道门槛：AI安全的渗透率，很难长期跑在AI应用的渗透率前面。
一家企业只有先把AI用起来，才会逐渐把数据库、内部文件、代码库等资源开放给AI；只有AI真正拿到权限，数据泄露、越权操作等风险才会从纸面问题变成现实问题。到了这一步，企业才更有动力为安全买单。但即便AI已经进入业务，安全也未必会成为企业最先花钱的地方。
这种差距也体现在资本的态度上，蒋工称，“国内资本对应用层很狂热，因为应用的确有明确的变现路径，但模型安全不是。”
从两位业内人士的判断来看，改变这一局面的变量可能有两个。
一个是事故。蒋工将其类比为疾病预防：所有人都知道提前预防疾病很重要，但在真正生病之前，很少有人愿意持续投入大量成本。企业安全也是类似的逻辑，没有发生足够严重的事故之前，安全部门更多是一项成本，很难像能直接带来收入的业务一样获得资源倾斜。刘雁的判断与之相似。她认为，当B端企业真正意识到AI安全会影响自身业务时，付费意愿自然会提高。
另一个则是监管。刘雁用了一个充电宝的例子。过去充电宝可以直接带上飞机，后来随着安全标准完善，3C认证逐渐成为一道强制门槛。她认为，如果未来AI应用、Agent乃至具身智能设备也需要达到统一的安全标准，那么安全检测、咨询和防护就可能从企业的“可选项”变成“必选项”。
这也是AI安全这门生意目前最微妙的地方：风险已经出现，产品已经有人做，商业模式也并不难理解，但真正大规模的付费需求还没有完全形成。
它需要等待AI进一步进入真实业务，也需要等待企业把更多数据和权限交给Agent，更要等待安全需求真正变成一笔明确的企业预算。在这之前，玩家们需要做的，就是先卡好位置。
*题图及文中配图均由AI生成 。
本文来自微信公众号 “定焦”（ID：dingjiaoone），作者：李梦冉，36氪经授权发布。
