英伟达、百度、宇树…32个世界模型揭开物理AI底牌
让机器人拿起一只杯子,它要解决的问题远比识别物体多:杯子在哪里,机械臂从哪个方向伸过去,夹爪什么时候合拢,移动过程中会不会碰到桌沿。无人车经过路口时,也要判断:如果现在加速,旁边的车和行人接下来会怎样行动。
这类需要在现实环境中感知、决策和行动的AI,通常被称为物理AI。人形机器人、自动驾驶汽车、机械臂和无人机,都是它的应用载体。重量、惯性、摩擦和碰撞,会直接影响它们能否把一项任务完成。
世界模型是帮助AI预测环境变化的一类模型,可以将其理解为系统内部一个通过数据学习的模拟器。它接收当前观察,结合动作等条件,推演接下来可能发生什么,为规划、训练和评测提供依据。
以拿杯子为例,模型可以尝试预测:机械臂沿某条轨迹移动,能否接近杯子;夹爪抬起后,杯子会不会随之移动,是否可能滑落。把候选动作对应的未来结果交给规划系统比较,就有机会在真实执行前发现不合适的方案。
这些预测的输出形式多样。有的模型生成未来视频,有的构建可以探索的三维场景,有的在压缩后的抽象特征中表示环境变化。相应地,研究者会考察画面与空间的一致性、动作造成的变化,以及预测能否帮助系统作出更好的决定。
世界模型还能提供训练经验。机器人可以在模型生成的环境中反复试验,研究者也可以生成难以采集的任务数据,或在部署前评估策略。部分团队进一步将未来预测与动作生成联合训练,让模型同时学习环境如何变化、机器人怎样行动。
这些能力仍有具体限制:物体可能在交互中变形或消失,碰撞和滑动可能模拟失准,连续预测也会积累误差。因此,一项成果的应用价值,要结合它对真实任务的帮助、适用范围和运行成本来看。
2026年11月3日,百度首次披露Apollo World,让无人车在虚拟城市中完成连续行程;一周前,谷歌DeepMind发布Genie 4,用户可以在探索环境时改变天气或加入人物。世界模型的研究,正在机器人控制、自动驾驶仿真和交互环境生成等方向分别展开。
以下综合技术代表性、公开实验、应用进展与生态影响,选取32个模型及研究体系,包含有代表性的早期研究。序号用于罗列,不代表跨任务性能排名,资料截至2026年11月4日。
01 英伟达Cosmos 3:把世界预测、推理和动作生成放进同一体系
2026年6月1日,英伟达发布Cosmos 3。这一代模型采用混合Transformer架构,将视觉推理、世界生成与动作预测结合起来,能够处理和生成文字、图像、视频、环境声音及动作信息。
它面向的客户包括机器人、自动驾驶和工业视觉开发者:既可以预测环境接下来怎样变化,也可以生成训练与评测数据,并作为世界动作模型的基础。英伟达已提供Super、Nano等版本及开放模型资源。Cosmos的布局覆盖模型、数据处理和部署工具,开发者可以围绕同一体系完成多项物理AI工作。
02 谷歌 DeepMind Genie 4:能随操作继续演化的交互世界
2026年10月27日,谷歌DeepMind发布Genie 4。用户可以在生成过程中移动视角、改变天气、加入人物和物体,模型继续推演场景变化,并同步生成环境声音、音乐和对话。
Genie 4引入Gemini系列能力,改善画面、行为和场景连续性。其用途包括机器人与智能体训练环境,以及交互内容创作。发布时,模型以研究预览形式向受信任测试者开放。它展示了持续生成、实时干预环境的能力,机器人训练效果仍需在具体任务中评估。
03 Meta V-JEPA 2 / 2.1:在抽象特征中预测物理世界
Meta于2025年6月发布V-JEPA 2,2026年3月进一步发布V-JEPA 2.1。该系列把视频编码成抽象特征,学习物体运动和场景变化,再利用预测结果辅助规划,减少对逐像素生成画面的依赖。
V-JEPA 2先通过超过100万小时视频等数据预训练,再加入机器人动作数据,开展抓取与放置实验。2.1版本着重改善局部空间特征、深度理解和时间一致性,并用于机械臂规划与导航研究。代码和模型已公开,代表了预测式视觉表征这条世界模型路线。
04 World Labs Atlas:把图像、视频和三维空间连起来
2026年9月1日,World Labs发布Atlas。模型原生处理文字、图像、视频与三维信息,将输入组织进共享空间上下文,用于生成新视角、重建场景和模拟时空变化。
Atlas可以根据一张或多张图片生成指定相机位置看到的画面,也能输出显式三维结果。公司展示了最长约一分钟、1440p的相机控制视频,以及面向机器人的真实场景转仿真流程。Atlas将支持后续Marble等产品,发布时开放早期体验申请。它的主要落点是空间生成、重建和仿真场景建设。
05 Odyssey-3:从世界仿真延伸到机械臂和车辆实验
Odyssey于2026年10月8日发布Odyssey-3。模型采用自回归扩散Transformer,根据此前观察和最新输入,预测物体如何运动、相互作用,以及场景如何继续演化。
除实时交互环境外,公司还展示了机械臂操作、人形机器人和车辆控制实验。例如,在冻结世界模型主干的情况下,用20小时驾驶数据训练驾驶策略,在印度真实道路上开展闭环实验。这些结果展示了世界模型向不同硬件适配的路径。Odyssey-3目前提供研究预览,相关能力来自公司披露的实验。
06 Runway GWM系列与Praxis-1:从交互仿真延伸到机器人操作
Runway的GWM-1家族包括可探索环境、虚拟角色和机器人操作三个方向。其中GWM Robotics根据机器人动作生成未来交互画面,支持多视角和长上下文,用于策略评测、合成数据扩充及机器人策略的视觉基础。
2026年9月,公司进一步公布世界动作模型Praxis-1,将视频预训练用于真实机器人控制。发布时,该模型正与早期合作伙伴测试,公开权重仍属后续计划。同月发布的GWM Worlds 2则面向实时视听交互环境,提供720p、每秒24帧的连续生成。
07 Waymo World Model:生成摄像头与激光雷达共同看到的世界
2026年2月6日,Waymo公开Waymo World Model。它以Genie 3为基础,针对自动驾驶场景进行适配,能够同时生成摄像头画面和激光雷达数据。
工程师可以调整驾驶动作、道路布局及文字指令,模拟逆行车辆、积水、极端天气等少见场景,也可以从同一段真实记录出发,测试采用另一条行驶路线会发生什么。该模型服务于Waymo的自动驾驶仿真体系,重点是扩充难以通过道路采集覆盖的测试情况。
08 Wayve GAIA-4:让驾驶模型的决定改变后续仿真
Wayve于2026年8月3日发布GAIA-4。它从真实传感器记录构建仿真起点,将驾驶模型接入闭环:车辆选择刹车或转向后,随后接收到的视角和传感器信息会相应变化。
GAIA-4支持保留其他交通参与者原始轨迹的评测方式,便于复现安全关键事件;也能启用会对自车行为作出反应的交通参与者,研究并线等互动场景。Wayve将其用于分析安全员接管事件、复测模型更新,以及比较同一场景下不同驾驶决策的后果。
09 Waabi Copilot4D:直接预测三维点云的下一步
Copilot4D是Waabi公开的四维世界模型研究,发表于ICLR 2024。它将激光雷达点云转换为离散表征,通过扩散模型预测未来观测,学习道路环境在三维空间和时间中的变化。
模型能够以候选驾驶动作作为条件,推演采取不同动作之后的环境。例如,自车急刹时,后方车辆可能怎样响应。团队在nuScenes、KITTI及Argoverse 2等数据集上进行测试。这项研究提供了以传感器数据学习物理动态的路径,也使自动驾驶世界建模覆盖到视频之外的观测形式。
10 1XWM:先生成任务视频,再转换成人形机器人动作
1X于2026年1月公开了集成进NEO机器人的1XWM。系统接收文字指令与起始画面,生成执行任务的未来视频,再通过逆动力学模型,将画面变化转换成机器人动作轨迹。
其训练结合互联网视频、第一视角人类数据和NEO数据。1月披露的版本中,世界模型生成5秒视频需要约11秒,动作提取另需约1秒,反应速度仍是改进重点。2026年6月,1X宣布成立世界模型实验室,继续扩展预训练与机器人部署、数据回收之间的学习流程。
11 英伟达 DreamDojo:用大规模人类视频训练机器人模拟器
2026年2月公开的DreamDojo,是面向机器人交互预测的通用世界模型。研究基于Cosmos-Predict2.5,使用约4.47万小时人类交互视频预训练,再通过机器人数据进行适配。
给定机器人动作,DreamDojo预测相应的环境变化。团队通过蒸馏提升推理速度,将其用于交互遥操作、策略评估和基于模型的规划。与通用场景生成相比,它更关注动作能否引起合理的物体变化,以及能否处理目标机器人训练数据中没有覆盖的物体和交互。项目已公开代码和模型资源。
12 蚂蚁灵波 LingBot-World 2.0:扩展实时世界的交互长度
LingBot-World 2.0又名LingBot-World-Infinity,2026年7月公开技术报告、推理代码与模型,9月补充更多模型版本。它通过因果预训练和蒸馏,改善持续交互时的生成质量与响应速度。
官方演示配置支持720p、每秒60帧的视频流,交互覆盖移动、更多角色动作和文字驱动事件,还引入分别负责角色行为与环境变化的智能体。其主要成果集中在可持续探索的交互环境。项目开放多个规模和类型的模型,当前许可证限非商业用途。
13 腾讯混元 HY-World:生成可保存、编辑的三维场景
腾讯于2026年4月公开HY-World 2.0,随后分阶段发布代码和模型,7月宣布HY-World 2.1产品更新。该系列支持文字、单张图片、多视角图片与视频等输入,生成或重建可探索的三维场景。
2.0将全景生成、轨迹规划、世界扩展和三维重建组织成一套流程,输出三维高斯、网格等资产,可接入游戏引擎与Isaac Sim等工具。它侧重环境空间的生成与重建,能够为机器人仿真提供场景素材;物体受力、接触等动态过程仍需要相应的物理建模支持。
14 智元 Genie Envisioner 2.0:让机器人策略在模型中连续试验
Genie Envisioner 2.0的核心成果GE-Sim 2.0,是面向机器人操作的闭环视频世界模拟器。项目于2026年4月上线,5月公开技术报告,6月发布代码和模型,10月继续更新评测支持。
模型使用涵盖遥操作、机器人策略部署与物体交互的数据进行训练。外部策略给出动作后,模拟器生成新的环境观测,再供策略继续决策。公开示例包括头部与双腕视角下的任务成功和失败过程。这一体系将世界模型接入策略评测和训练流程,并支持接入外部奖励模型。
15 生数科技 Motus2:在同一模型里连接动作、预测与评价
2026年公开的Motus2面向灵巧操作,用同一套共享参数提供三种接口:策略提出候选动作,模拟器预测动作造成的视觉变化,评价器判断结果,再将反馈用于策略改进。
项目披露的人类数据原始录制规模约13万小时,训练从单目第一视角视频扩展至同步双目数据,再适配机器人轨迹。它还研究长时记忆和触觉反馈,在配有双臂、双灵巧手等硬件的平台上开展实验。项目已公布论文、演示与分阶段开源计划。
16 流形空间 WorldScape:把空间移动与物体操作统一建模
流形空间于2026年2月发布WorldScape,将空间导航和物体操作纳入同一交互生成过程。模型引入几何约束和记忆机制,改善连续移动后场景结构漂移、历史物体外观变化等问题。
2026年7月,公司进一步公布WorldScape v2和Policy v2,扩展不同动作控制方式,并加入面向机器人长程任务的记忆与上下文学习能力;10月公布R²SI机器人自我改进研究。其产品研究同时涉及交互世界生成与世界动作模型,尝试连接环境预测、任务执行和经验利用。
17 高德 DreamX-Phi 1.0:围绕机器人动作预测交互画面
DreamX-Phi 1.0是2026年公开的机器人操作世界模型,基于Wan2.2-TI2V-5B构建。输入初始观察与指定机器人动作序列后,模型生成对应的未来视频,重点保持机器人运动、场景几何与被操作物体的状态一致。
它把机械臂末端位姿、夹爪状态等信号加入动作条件,利用交互相关训练改善物体变化,并通过少步生成提升推理效率。团队报告了WorldArena 2.0相关赛道成绩。官方仓库已公布技术说明,权重与推理代码被列为比赛结束后开放的内容。
18 Ctrl-World:在“想象”中评估和改进机器人策略
Ctrl-World于2025年10月公开,入选ICLR 2026。模型联合预测外部摄像头与腕部摄像头画面,通过逐帧动作条件控制未来变化,并检索历史记忆,维持多步交互的一致性。
团队用DROID数据训练,在抓取、叠毛巾、开关抽屉等任务中比较模型仿真与真实机器人表现,还将筛选出的合成成功轨迹用于策略微调。论文报告,特定新指令、新物体任务上的成功率由38.7%升至83.4%;模型对碰撞、滑动等精细动态的模拟仍有误差。
19 Dreamer 4:让智能体在学到的世界里训练行为
2025年9月公开的Dreamer 4,将世界模型与强化学习结合。系统先从视频等离线经验学习环境变化,再在模型生成的经验中训练行为,降低持续访问真实环境的需求。
研究在Minecraft中展示了仅依靠离线数据、通过模型内训练完成获取钻石任务的结果,并改善复杂物体交互的预测与实时仿真能力。它在这份名单中代表“在世界模型内部训练策略”的研究路线。论文的核心验证环境是游戏,不能直接等同于已实现真实机器人的通用操作。
20 DINO-WM:用视觉特征预测完成目标规划
DINO-WM于2024年11月公开,发表于ICML 2025。它使用预训练DINOv2的局部视觉特征学习环境动态,通过预测未来特征,优化能够接近目标画面的动作序列。
研究覆盖迷宫、推物体和多粒子交互等六类实验环境,不要求为每个测试目标重新学习一套策略,也不依赖预先训练的逆动力学模型。DINO-WM提供了一种较为清晰的研究范式:先学习动作如何改变环境,再在执行时围绕新目标规划。项目公开了论文与代码。
21 百度 Apollo World:把无人车测试延伸到完整虚拟行程
2026年11月3日,百度在深圳举行的AI Day·Apollo专场上首次披露Apollo World。百度介绍,该模型将车辆、行人等交通参与者建模为具备决策和交互能力的智能体,使交通环境能够响应无人车的动作。
它支持生成摄像头、激光雷达等观测,并让驾驶系统在虚拟城市中连续完成从起点到终点的行程。模型已用于萝卜快跑全球化测试与验证,重点是将真实道路中的复杂交互和风险场景转为可重复测试的虚拟环境。
22 宇树 UnifoLM-WMA-0:同时承担机器人仿真和策略增强
宇树2025年公开的UnifoLM-WMA-0,是面向多类机器人本体的世界模型与动作框架。核心世界模型学习机器人与环境之间的物理交互,并提供仿真和决策两种工作模式。
在仿真模式下,它根据动作生成未来交互过程,提供合成训练数据;在决策模式下,世界模型连接动作模块,利用未来预测辅助操作。项目公开了代码、模型及相关数据,实验覆盖宇树Z1机械臂、双臂平台和G1机器人。
23 蚂蚁灵波 LingBot-VA / 2.0:让未来预测直接参与机器人控制
LingBot-VA与LingBot-World承担不同任务:前者将未来视觉预测与动作执行联合训练,直接服务于机器人操作。首代于2026年1月公开代码和权重,团队在7月进一步公布LingBot-VA 2.0研究。
2.0从面向具身控制的因果预训练出发,将视觉状态与动作放入共享表征空间,结合稀疏混合专家架构和异步执行。模型一边预测未来,一边根据机器人最新观察修正后续控制,公开实验涉及长程操作、精细操作与少样本任务适配。
24 极佳视界 GigaWorld-1:围绕机器人策略评测构建世界模型
GigaWorld-1面向机器人策略评测,2026年7月公开技术报告及部分代码、模型资源。团队披露,训练数据约1.3万小时,结合互联网与物理视频、公开机器人数据、第一视角人类交互和自采示范。
模型通过历史画面和动作等条件,持续预测机器人与环境的交互过程。其研究重点包括长时序动作一致性、多视角轨迹对齐,以及模型中的策略表现与实际表现能否对应。该系列提供1.3B、5B等模型规格,并配套评测和数据处理工具。
25 英伟达 DreamZero:联合生成未来视频和机器人动作
2026年2月公开的DreamZero,以大规模预训练视频模型为基础,在同一生成过程中联合预测未来视频与连续动作。它利用视频中学到的运动和物理交互信息,研究机器人对新任务、新环境的适应。
DreamZero基于Wan 2.1的14B视频主干构建,公开了DROID、AgiBot相关模型及适配代码。团队还展示了使用约30分钟交互数据适配新机器人本体的实验。它与主要充当模拟器的DreamDojo用途不同,直接研究世界预测与机器人策略的联合学习。
26 小米 Robotics-U0:把具身场景与任务过程纳入统一生成模型
小米于2026年7月公开Robotics-U0,统一处理图像生成、编辑、多视角具身场景生成、具身迁移和任务视频生成。模型关注机器人视角之间的空间一致性,以及更换物体、环境或本体后的交互过程。
它也被用于构造机器人训练数据。论文报告,在指定的真实机器人分布外操作任务中,使用相关数据改进的π0.5策略成功率由36.9%提高至63.2%。项目已公开模型与推理资源,9月进一步开放训练代码,不同任务由对应的模型版本支持。
27 银河通用 LDA-1B:在隐空间里联合学习动态与动作
LDA-1B于2026年2月公开,入选RSS 2026。模型将环境动态、视觉预测和策略学习结合起来,利用超过3万小时的人类与机器人交互数据训练。
它在DINO视觉特征构成的隐空间中预测未来变化,减少对像素外观的重复建模,并为不同质量、不同来源的数据安排相应学习任务。团队展示了夹爪操作、灵巧手操作和长程任务实验。代码和模型检查点已公开,代表了以动态预测组织异构具身数据的一条路线。
28 智源 悟界·Physis-v0.1:探索统一的物理状态表征
2026年6月,智源研究院在北京智源大会上公布悟界·Physis-v0.1。其公开介绍提出,将视频、RGB-D、三维点云和力触反馈等信息编码为统一的隐空间物理状态,用于预测后续物理变化。
该模型面向具身智能、工业、物理仿真与科学研究等场景,关注动作因果关系、长时序推演和多模态物理信息融合。目前披露重点是模型架构与应用方向,应与已有完整公开代码、权重和任务实验的项目区分成熟度。
29 UniSim:用可学习的模拟器训练机器人
UniSim于2023年公开,发表于ICLR 2024,是生成式交互模拟器的重要早期研究。它结合图像、机器人操作和导航等不同数据,学习在动作或指令之后,环境会怎样变化。
模型既能响应“打开抽屉”等高层指令,也能响应移动到某个位置等低层控制。研究使用生成的交互经验训练视觉语言规划器和强化学习策略,并展示向真实机器人的迁移。它为后续利用视频世界模型开展策略训练提供了具有代表性的实验路径。
30 TD-MPC2:面向连续控制的隐式世界模型
TD-MPC2发表于ICLR 2024,结合隐式世界模型、价值学习与模型预测控制。在压缩后的状态空间中,系统预测不同动作的结果,优化动作轨迹,再执行下一步控制。
研究在104项连续控制任务上开展评测,并展示用一个3.17亿参数模型处理80项任务的结果,覆盖不同本体和动作空间。团队公开了数百个模型检查点和训练数据。它补充了生成式视频之外的一条重要路线:围绕控制目标学习足以支持规划的环境动态。
31 字节跳动 IRASim:细化机器人动作与环境变化的对应关系
IRASim是机器人交互模拟器研究,相关工作入选ICCV 2025。给定历史观察与机器人动作轨迹,模型生成后续操作视频,重点刻画机械臂动作、接触过程和物体变化之间的对应关系。
研究通过逐帧动作条件加强控制信号与画面的对齐,并支持自回归生成多段连续交互。团队用它研究策略评测和基于模型的规划,也展示了通过键盘或VR设备控制虚拟机械臂的交互形式。项目已公开论文与代码。
32 英伟达 DreamGen:让世界模型生成可用于训练的机器人经验
2025年5月公开的DreamGen,是利用视频世界模型生成机器人合成轨迹的一套研究流程。系统先适配目标机器人,再根据起始画面与文字指令生成任务视频,转换为动作数据,用于训练策略。
团队展示了仅有单一抓放任务遥操作数据时,利用生成数据让人形机器人学习22种新行为的实验,并提出DreamGen Bench,衡量指令遵循与物理合理性。它属于世界模型的数据生成与学习体系,补足了从生成交互过程到实际训练机器人之间的一环。
这些成果呈现出三种不同的用途:生成可以探索和编辑的环境,预测机器人与车辆采取动作后的变化,以及利用模型中的试验结果改进策略。部分团队已经将这些环节接到同一套系统中。
公开实验也留下了具体差距:1X披露过生成速度慢于真实动作的问题,Ctrl-World仍难准确模拟部分碰撞和滑动。世界模型的应用进展,需要同时看环境预测是否准确、模型中的训练能否改善真实任务表现,以及一次试验需要多少时间和计算资源。
本文来自微信公众号“芯智能头条”,作者:何同学,编辑:Mark,36氪经授权发布。















