2026年AI基础设施路线图：五大前沿阵地

神译局是36氪旗下编译团队，关注科技、商业、职场、生活等领域，重点介绍国外的新技术、新观点、新风向。

编者按：刷榜单已无意义。2026年AI基建正从“智能大脑”转向“神经系统”：让智能走出实验室，在现实中感知与进化，才是硬核玩家的下一条护城河。文章来自编译。

第一代AI基础设施公司开发出了智能的“大脑”。而下一代基础设施将把这些智能引擎释放到现实世界中。

第一代AI是为一个“模型即产品”的世界而构建的，那时候，进步意味着更大的权重、更多的数据和卓越的基准测试结果。AI基础设施反映了这一现实，推动了基础模型、算力规模、训练技术和数据运营等领域巨头的崛起。这正是我们《2024年AI基础设施路线图》的重点，在那场AI基础设施革命拉开序幕时，这一蓝图引导我们投资了 Anthropic、Fal AI、Supermaven（后被 Cursor 收购）以及 VAPI 等公司。

不过，现在的格局已经发生了变化。顶级实验室不再仅仅追求基准测试的提升，而是转向设计能够与现实世界交互的AI；企业也正从概念验证（POC）阶段迈向真正的生产环境。那些让我们走到今天的、以规模和效率为核心进行优化的基础设施，已无法带我们进入下一个阶段。现在需要的是能够将AI锚定在业务上下文、现实经验和持续学习中的基础设施。

新一波AI基础设施工具正在蓄势待发，旨在让AI在现实世界中运行。我们确定了定义这一新浪潮的五个前沿领域，每一个领域都在解决模型规模化之外必须攻克的结构性限制。

下一代AI基础设施的五大尖端前沿

1. “底座”（Harness）型基础设施

随着AI部署从单一模型转向复合系统，旨在“驾驭”模型——即释放其全部潜力——的基础设施变得比以往任何时候都更加重要。

以记忆和上下文管理为例。大多数企业AI系统都患有“组织性健忘症”。虽然基础的检索增强生成（RAG）解决了模型与数据源之间的连接问题，但复合AI系统现在需要更复杂的记忆基础设施。企业拥有海量的历史数据和组织知识——从内部文档到 CRM 记录——AI系统必须能够访问这些数据，以避免产生幻觉，并确保其输出与公司特有的现实情况相符。

可靠的AI部署不仅取决于模型的原动力，还取决于对知识检索、跨会话上下文管理和规划等组件的编排。随着模型日趋商品化，差异化竞争正在转向记忆和上下文层。开发者曾经需要从零构建的东西——如自定义向量数据库和检索系统——现在正在演变成一个独立的基础设施类别。初创公司和科技巨头现在都在提供即插即用的语义层，以跨会话维护对话上下文、用户偏好和长期记忆。

新型的评估和可观测性构成了另一个关键的基础设施挑战——这在以往的软件开发范式中并不存在。以将对话式AI智能体推向生产环境的团队为例，传统的监控手段追踪的是完成率、延迟、错误代码以及点赞/点踩反馈。但对话式AI的失败方式截然不同。当聊天机器人给出一个言之凿凿的错误答案，或者逐渐偏离用户的实际问题，再或者在误解请求的同时生成了一些看似合理的回复时，用户往往不会做出反应。没有投诉，没有点踩，也没有错误信号。在仪表盘上，对话看起来毫无异常，而AI其实已经悄无声息地失败了。

据估计，78%的AI失败是隐形的——AI出了错，但没人发现。用户没发现，传统监控没发现，甚至情感分析也没发现。这些失败通常呈现为以下几种反复出现的模式：

• 信心陷阱——AI自信地胡说八道，而用户信以为真

• 漂移——AI逐渐开始回答一个与初衷无关的问题

• 无声错位——AI理解有误，但生成的内容足够像模像样，导致用户没有提出质疑

即便用了更强大的模型，这些模式在93%的情况下依然存在，因为它们源于交互动态——即模型如何展示输出以及用户如何传达意图——而非能力上的短板。

应对这一问题的新基础设施正在涌现。像 Bigspin.ai 这样的平台不仅提供部署前的测试，还能根据黄金数据集和用户反馈对生产环境中的模型输出进行实时监控。我们也正在超越传统的分析方法，转向语义指标；Braintrust 和 Judgment Labs 等新平台，以及“LLM-as-a-judge”（以大模型作为评审）等技术，正逐渐成为高质量评估和指标定义的标准。

这些例子展示了对AI驾驭型基础设施不断演进的需求。关于环境、运行时、编排、协议和框架的更多内容，可参阅我们的《软件3.0路线图》。

2. 持续学习系统

当下的AI模型面临一个根本性的约束：冻结的权重阻止了模型在部署后进行真正的学习。虽然像压缩（compaction）这样的上下文管理策略非常强大，且我们看到许多顶级实验室在长期运行的智能体里面也用到了，但上下文学习（in-context learning）只能通过机械记忆实现表面层次的自适应，而无法习得新技能。此外，随着上下文的增长，成本也会变得高昂到难以承受，因为 KV 缓存会随着上下文的增加而线性增长。从技术和经济的角度来看，构建一个能记住所有内容并在多年使用中不断进步的AI系统是行不通的。

而这正是持续学习（continual learning）大显身手的地方。它能让AI随着时间的推移跨任务积累知识和技能，在获取新能力的同时保留原有能力。与一次性训练后静态部署的传统模型不同，持续学习系统在生产环境中不断进化——在每一次交互中变得更聪明，同时避免“灾难性遗忘”。研究人员和从业者正在通过预训练和后训练阶段的创新来探索这一路径。

架构层面的方法从根本上重新思考了模型的学习方式：

• Learning Machine 正在构建像人类一样在推理过程中不断学习的模型。通过全新的架构和训练范式，模型将掌握“如何学习”这一元技能，从而在部署后适应不同的用户和企业。

• Core Automation 正在从根本上反思 Transformer 架构，旨在构建能够通过新型注意力机制自然产生记忆的系统。

• 斯坦福与英伟达合作的 TTT-E2E 运用了滑动窗口 Transformer，在测试时通过对上下文进行下文预测来持续学习，并将其压缩进权重里面。在训练期间，模型学习如何在推理时更好地更新自身权重，实现了端到端的方法。

近期可投入生产的解决方案也已出现：

• “Cartridges”方法将长上下文存储在通过离线训练生成的小型 KV 缓存内，并在推理过程中跨不同用户请求来重复使用。

• Sublinear Systems 和基础模型实验室正竞相通过新技术解决上下文限制问题。

我们看到的持续学习方法非常广泛，既有挑战高风险、可能彻底重定义该领域的架构性“登月计划”，也有能逐步改进现有 Transformer 的生产就绪型技术。我们非常渴望与这个谱系的各类创始人交流。

持续学习的生产部署需要全新的治理原语，而这些在标准的机器学习工作流里面尚不存在。回滚机制需要在更新导致性能退化时恢复到稳定的检查点，这需要对权重、数据和超参数进行完整的血缘追踪。隔离技术则允许在不影响核心能力的情况下进行安全实验。此外，创建除“大海捞针”测试之外的基准测试，以衡量持续学习系统相对于上下文学习的性能，也将至关重要。

3. 强化学习平台

由于数据质量从根本上决定了AI的能力，那句古老的机器学习格言“垃圾进，垃圾出”现在比以往任何时候都更有意义。Mercor、Turing 和 micro1 等数据平台在AI革命的第一波浪潮中发挥了重要作用，它们动员人类专家来创建高质量的数据集。但我们相信，随着AI系统从模式识别转向自主决策，一个关键的局限性已经显现：人类生成的标注数据已不足以支撑生产级的AI。它无法教会AI系统如何应对具有延迟后果和复合决策的复杂多步任务。

这正是强化学习（RL）变得不可或缺的原因，因为AI必须通过交互而非静态数据集进行学习，从而获得“经验”。利用强化学习技术栈现已成为AI基础设施工具的基石，其目的是在无需承担现实世界试错成本和风险的情况下，教会智能体复杂的行为。这一新兴技术栈中的平台包括：

• 环境构建与经验策划：Bespoke Labs, Deeptune, Fleet, Habitat, Matrices, Mechanize, OpenReward, Phinity, Preference Model, Proximal, SepalAI, Steadyworks, Veris, VMax

• 强化学习即服务（RL-as-a-service）：Applied Compute, cgft, Metis, osmosis, Trajectory

• 平台基础设施：AgileRL, Hud, Isidor, OpenPipe, Prime Intellect, Tinker

4. 推理拐点

在我们2024版的路线图中，模型部署和推理优化已成为关键的基础设施层，Fal、Together、Baseten 和 Fireworks 等厂商率先推出了高效的服务方案。当时，资本密集型的模型训练占据了AI领域绝大部分的算力资源。而今天，我们正见证着算力重心的根本性偏移。随着AI智能体和应用从原型转向大规模生产，推理工作负载在算力需求和经济重要性上已能与训练抗衡，甚至在许多情况下已经超越了后者。正如黄仁勋在 GTC 2026 主旨演讲中所说那样：“AI终于能够从事生产性工作了，因此，推理的拐点已经到来。”

这一拐点反映出市场正趋于成熟。在这个市场里，持续运行AI系统的成本和性能与构建它们的初始投资同样重要。

新一代基础设施初创公司正通过对推理栈的专业化优化来应对这一生产需求。像 TensorMesh 这样的公司正在利用 LMCache 消除冗余的重复计算；RadixArk 正在推进基于 SGLang 的多轮对话路由和调度；Inferact 则在为高吞吐服务突破 vLLM 的性能极限。Gimlet Labs 甚至像英伟达这样的超大规模厂商，都在研发专为复杂智能体系统设计的异构推理创新。这些创新将前沿的系统研究转化为可衡量的生产收益：更快的响应速度和更低的成本。

我们还看到了针对新型部署方式的推理创新，边缘计算和端侧部署就是其中的典型例子。随着AI渗透到从机器人到消费品的各个经济领域，AI部署需要出现在用户所在的地方，而这并不总是基于云端的。我们看到 WebAI、FemtoAI、PolarGrid、Aizip Mirai 和 OpenInfer 等公司正在消费级设备的端侧AI部署领域挑战极限。Perceptron 等模型厂商的端侧创新对于物理AI也至关重要，正如我们在关于智能机器人的思考中所述，我们期待在该领域看到更多成果。

边缘AI对于国防等行业同样至关重要，在这些行业中，通信往往会被干扰或阻断；TurbineOne、Dominion Dynamics、Picogrid 和 Breaker 等公司正带头提供基础设施工具，让士兵即使在最艰苦的环境中也能利用AI的力量。

5. 世界模型

模型层是AI基础设施栈中最具活力且竞争最激烈的层级之一。虽然大语言模型（LLM）已经攻克了语言智能，但一类全新的模型——世界模型——已经出现，其实目的是为物理世界提供智能。

随着AI从屏幕走向物理现实，新的挑战也随之而来：如果AI“大脑”没有“身体”，它如何培养对物理规律和世界的直觉？世界模型提供了一个解决方案。核心在于，这些AI系统是利用现实世界数据（视频、传感器、GPS等）训练出来的，它们学习在给定的当前情况和动作下预测世界将如何演变。它们不再仅仅是描述现实，而是在模拟现实。

在这些较新的研究中，出现了三种主要的架构范式。在实践中，各公司也开始探索结合各方优势的混合模式：

• 来自 Reka 和 Decart 等公司的基于视频的世界模型将问题定义为视频生成，直接在像素空间预测未来的帧。由于它们是逐步生成输出的，因此可以实时运行并对新输入做出动态响应，非常适合交互式环境。虽然它们在长跨度内保持物理一致性方面仍有困难，但能生成视觉上非常引人入胜的内容。

• World Labs 等公司的显式3D表征模型走的是另一条路，通过构建持久的3D场景表征，以较低的推理成本提供强大的空间一致性。目前这些环境还是预生成且静态的，但 World Labs 已表示实时交互已列入其路线图之中。

• 基于 AMI Labs 开创的联合嵌入预测架构（JEPA）的潜空间预测模型完全避免了像素生成，而是通过在压缩的潜空间中预见未来状态。这种方法算力效率极高，且避开了许多视觉上的失效模式，但可解释性有所下降。虽然每种范式都取得了显著进展，但关键差距依然存在——这些问题的解决将决定世界模型大规模商业化的路径。

世界模型的商业机会非常广阔。我们最近分享了对机器人领域世界模型的看法，因为该领域是最显眼的早期应用之一。通过生成无限的合成训练环境，世界模型解决了困扰物理AI数十年的数据匮乏问题。自动驾驶领域正证明了这一点，Waymo 和 Wayve 利用世界模型模拟罕见的极端案例，而这些案例在现实测试中是无法以经济的方式复制的。同样的核心能力还能解锁更多领域，如国防、医疗、工业运营和企业规划中的高风险模拟。

世界模型并非某种针对特定垂直行业的工具——它们是机器智能的新基石，其作用与LLM 对文本推理的作用类似。那些早期在其基础上进行构建的行业，在部署现实世界智能体方面将拥有巨大的先发优势。我们对那些正在构建让世界模型跨行业应用成为可能的架构和模拟器的公司感到兴奋。

构建让AI体验并进入现实世界的基础设施

第一代AI基础设施公司构建了智能引擎——即证明了AI能力的模型、算力集群和训练流水线——而下一代则必须构建神经系统和驾驭工具，让AI能够在现实世界中感知、记忆、适应并持续运行。这些前沿领域代表的不仅仅是对现有基础设施的增量式改进。在这些领域深耕的公司不只是在优化延迟或降低成本；他们正在解决那些将“令人惊叹的 Demo”与“能创造持久价值的可靠系统”区分开来的根本性挑战。

我们相信，2026年将是AI基础设施重心发生决定性转移的一年，它将重新定义今年及未来AI原生运营的样貌。

译者：boxi。