具身智能进入Agentic Robotics时代？清华、伯克利开源统一RUA框架

机器之心·2026年11月12日 07:36

为Agentic Robotics训练搭建通用框架。

机器人正迎来自己的 Computer Use 时刻。

10日，Anthropic 发布的 Fable 5.2 带来新进展。相比前代模型，它的物理机器人控制能力明显提升，甚至能完成此前从未接受过专项训练的任务。

在 RoboDojo Sim 仿真评测中，Fable 5.2 以 64.9% 的得分，远超 Anthropic 内部同配置测试中的 GPT-6 Astra（29.8%）。

早在 9 月，MIT 研究者 Phillip Isola 就在《Robot-Use Agents》提出，未来，接入互联网并开放传感器、执行器接口的机器人，都可能成为通用 Agent 可以调用的工具。

这也契合具身智能领域的 System 1、System 2 分工思路，通用模型负责高层推理和任务规划，底层策略负责具体动作执行。GPT-6 Astra、Fable 5.2 等模型已初步验证这条路线的可行性。

然而，要让它真正跑通，还有两个关键问题亟待解决。

其一是模型。闭源前沿模型已经展示出不错的机器人操作能力，但研究者无法直接获取权重，更难以利用机器人交互数据对其进行持续训练。

其二是系统。不同机器人在硬件结构、传感器和控制接口上差异显著，仿真与真实环境也各不相同。如果每接入一种机器人都需要重新开发工具系统，跨环境迁移和规模化实验的成本将居高不下。

因此，RUA 需要一套统一的交互接口，屏蔽不同硬件和环境的底层差异，让模型能够以一致的方式获取感知信息、调用控制工具并接收执行反馈。

近日，清华大学丁宁、刘知远、徐梦迪、周伯文等人的研究团队，联合加州大学伯克利分校教授、伯克利人工智能研究实验室（BAIR）联合主任 Pieter Abbeel 团队，共同推出并开源了uni-robot-agent，试图为 Robot-Use Agent（RUA）建立一套统一、模块化的 Harness，让语言模型能够通过标准化工具接口操控不同机器人和仿真环境。

论文链接：https://arxiv.org/pdf/2611.01560

博客链接：https://openrua.ai/uni-robot-agent

代码链接：https://github.com/Open-RUA/uni-robot-agent

这套框架在实际评测中表现不俗。在 RoboDojo 基准上，开放权重模型 Qwen3.8-Flash-Next 搭配该框架取得 31.39 分，超过 RoboDojo 官方此前公布的GPT-6 Astra + RoboProbe 的 28.97 分。同一框架下，GPT-6 Astra 进一步取得 51.90 分。

在真机 19 项任务评测中，未经任务专项微调的 Qwen 取得 53.50 分，分别领先微调后的 π₀.₅ 和零样本 Dream-1 达 5.75 分、10 分。GPT-6 Astra 搭配该框架则取得 80.50 分。

跑分之外，这项工作还测试了模型能把机器人操作到什么程度，把失败原因、能力短板和运行成本都扒了出来。

更进一步，他们想搭建一套通用底座，让开源模型能够接入不同机器人，也为后续的训练和本地化部署铺路。

统一接口为何是跨环境泛化的基础？

在 Coding Agent 领域，同一套工具可以用于不同的编程任务，模型通过相似的接口读取文件、执行代码、查看运行结果，能够在不同环境中复用已有的工具使用经验。

机器人操作则涉及更多硬件差异。即使都是抓取物体，单臂机器人和双臂机器人的动作接口也可能不同，模型需要理解新的参数、坐标系和控制规则，原有的工具调用经验难以直接迁移。

uni-robot-agent 希望通过统一工具接口打通这些差异。

例如，Franka 单臂机器人需要定位、抓取并堆叠积木，ALOHA 双臂机器人需要协调两只机械臂完成物体交接，真实 YuMi 双臂机器人则需要控制插销与插孔的对齐和插接。尽管硬件结构、动作空间和任务目标不同，模型都能调用统一的感知、运动、技能和任务控制接口，由底层适配器处理不同机器人的控制差异。

换句话说，模型可以沿用一致的工具调用规则。接入新环境时，开发者主要需要实现对应的适配器，减少对上层 Agent 逻辑的修改。

工具在不同环境中的复用情况。

统一接口还有更深一层的意义。

如果不同环境使用相同的工具语义、参数单位和反馈格式，机器人执行任务产生的交互轨迹就更容易放在一起，模型在单臂堆叠、双臂交接和真机插接中积累的经验，可以汇集到同一套数据体系。

这种设计为跨环境 Agent 训练创造了条件，研究者有机会利用不同机器人上的交互数据训练同一个模型，学习可迁移的工具使用与操作能力。

uni-robot-agent 如何设计？

uni-robot-agent 的设计围绕两个目标展开。一是为跨环境 Agent 训练提供统一基础，二是尽可能客观地评估通用模型已有的机器人操作能力。

为此，研究团队将系统划分为Agent、Orchestration、Tools、Services 和 Backends 五层。

Agent 层负责与模型交互，管理上下文和任务决策；Orchestration 层负责调度工具请求；Tools 层向模型提供统一操作接口；Services 层管理运行资源；Backends 层连接具体机器人、仿真器和模型实现。

这种模块化结构支持独立替换模型、工具和机器人后端。研究者可以在不重写整套系统的情况下，比较不同模型的表现，并积累结构一致的交互数据。

客观评测则要求尽可能贴近真实部署条件。仿真环境可以直接提供物体的精确三维位置、CAD 模型、隐藏场景状态，甚至任务是否成功的判断，这些信息在真实机器人上通常无法直接获取。如果模型依靠这些特权信息完成任务，就很难判断它究竟具备多少视觉理解、空间推理和操作能力。

因此，在主要仿真实验中，uni-robot-agent 只向模型提供 RGB 图像、相机标定、机器人本体状态与任务指令，不提供深度真值、物体 CAD 资产、隐藏场景标注或任务验证器反馈，也不允许外部网络访问。同时，研究团队还限制对评测任务专门定制的捷径，避免模型通过预先写好的任务答案取得高分。

那么，没有这些额外信息，如何让通用模型完成复杂的机器人操作？关键在于合理组织模型获取的信息，并保证工具执行可靠。

关键设计选择。每一列展示两项相互配合的设计，分别用于保障物理状态一致性、动作执行精度和上下文管理。

例如，机器人抓取物体时，模型需要根据图像和机械臂位置计算抓取坐标，如果图像来自上一时刻，机械臂状态却已经更新，计算结果就可能出现偏差。

uni-robot-agent 将相机图像、标定信息和机器人状态绑定到同一时刻，减少状态不同步带来的定位偏差。执行动作时，通过请求去重避免重复操作，并监测机械臂运动状态，识别动作停滞或执行异常。

动作完成后，系统将执行结果和新的环境观测反馈给模型，帮助其判断任务是否成功、是否需要调整下一步操作。

针对机器人动作耗时较长的问题，框架还引入异步执行。模型可以在部分工具运行期间继续处理其他工作，同一机械臂上的运动请求则按顺序排队，避免指令冲突。

这些设计将机器人领域的工程经验融入 Harness，减少信息错位、动作重复和反馈缺失对模型表现的干扰。

通过合理组织信息，并提供可靠的控制工具，uni-robot-agent 在不依赖仿真特权信息和任务专用捷径的条件下，仍能让通用语言模型展现出有竞争力的机器人操作能力。

实验验证，开放模型能做到什么程度？

为了检验统一 Harness 的实际效果，研究团队首先在 RoboDojo 上开展仿真实验。

该基准包含 42 项机器人操作任务，覆盖泛化、精细操作、长程执行、记忆和开放词汇指令五个维度。主要实验每组进行 252 次评测。

统一 Harness 的影响十分明显。

RoboDojo 基准测试结果。Avg. 表示五个能力维度下各项指标的非加权平均值。†GAP（Hybrid）表示该方案结合了 π₀.₅。

在相同 Qwen3.8-Flash-Next 模型下，RoboProbe 仅取得 1.90 分，RPent 为 7.75 分，结合 π₀.₅ 的 GAP Hybrid 达到 21.01 分。

换成 uni-robot-agent 后，Qwen 的成绩提升至 31.39 分，成功率达到 25%。相比 RoboProbe，综合得分提高了 29.49 分。

这组实验说明，即使模型权重保持不变，工具系统的设计也可能显著影响机器人操作表现。

框架还适配了其他模型。DeepSeek-V4.1-Flash 取得 27.11 分，GPT-6 Astra 达到 51.90 分，成功率为 46.67%。

不同模型的优势并不相同。Qwen 和 DeepSeek 在记忆、开放词汇任务上的表现，相对好于精细操作和长程执行；部分专用 VLA、WAM 模型则在长程任务上更有优势。

真机测试进一步检验了模型在物理环境中的能力。

研究团队使用双臂机器人开展 19 项操作评测，覆盖空间理解、物体泛化、指令遵循、组合泛化和未见任务五个维度。具体任务包括试管插架、双臂传递瓶子、按颜色顺序堆叠积木、擦白板，以及完成汉诺塔等。

五个维度下具有代表性的真实机器人任务。

GPT-6 Astra 取得 80.50 分，其中组合泛化维度获得满分 20 分；Qwen 取得 53.50 分，领先经过任务微调的 π₀.₅ 和零样本 Dream-1。

真机评测结果。每项能力的满分为 20 分，总分满分为 100 分。

不过，这组对比存在输入条件差异。Qwen 和 Astra 使用 RGB 图像及 RealSense D405 传感器提供的深度信息，π₀.₅ 和 Dream-1 只使用 RGB。因此，成绩差异不能完全归因于模型本身。

更值得关注的是，模型究竟依赖哪些外部信息。

在同时提供深度和相机标定的条件下，Qwen 取得 35.89 分。移除深度、保留标定后，成绩为 31.39 分。进一步移除标定，仅保留 RGB 图像及机器人自身状态，成绩降至 9.13 分。

Astra 在对应设置下分别取得 55.83、55.04 和 31.29 分。

减少几何信息条件下的机器人操作表现。图中记录了启用技能库时，模型在 42 项任务中通过 771 次工具调用完成任务的过程及最终得分。

这说明模型可以借助相机标定、多视角观察和几何计算，在没有直接深度测量的情况下完成部分空间定位任务。然而，缺少标定后，操作表现明显下降，仅凭 RGB 图像恢复可靠的空间关系，仍然存在难度。

预定义技能库是否会影响评测结果，也是研究团队关注的问题。

关闭技能库及技能编写功能后，Qwen 的综合得分仅从 31.39 降至 30.31，保留原成绩的 96.6%，成功率也仅从 25% 降至 24.58%。这表明其表现并不主要依赖预先封装的任务技能，标准化感知与运动工具，加上模型自身的推理能力，已经能够支撑相当一部分操作。

技能引导对任务表现的影响。

成本方面，Qwen 平均每次任务的 API 费用约为 1.09 美元，DeepSeek 为 0.94 美元，Astra 达到 21.29 美元。

执行速度同样影响机器人 Agent 的使用效率。综合得分首次达到 25 分时，Astra 累计消耗约 740 万 Token，用时 42.6 分钟；Qwen 消耗 2350 万 Token，用时 95.5 分钟；DeepSeek 消耗 4990 万 Token，用时 99.2 分钟。

为减少等待，研究团队进一步测试了异步流水线。

在选取的五项任务中，流水线执行耗时均短于串行执行，降幅为 4.8% 至 73.7%。其中，传送带抓取任务的耗时从约 59.7 分钟缩短至 15.7 分钟。

通用模型何时开始具备机器人操作能力？

统一 Harness 让不同模型能够在相近的交互条件下接受测试，也让我们得以追问一个更基础的问题：

通用模型究竟需要具备哪些能力，才能完成机器人任务？

研究团队进一步比较了 13 个不同家族、代际和规模的模型，发现机器人操作能力与模型规模、发布时间并不存在简单的对应关系。

不同代际、模型系列和参数规模下的机器人操作表现。

以 Qwen 系列为例，受测的 Qwen3.5、3.6 和 3.7 模型均未取得完整任务成功记录。到了 Qwen3.8，27B 模型的成功率达到 8.06%，Flash-Next 提升至 25%。其中，27B 模型参数规模虽然更小，却能完成部分旧版大模型无法完成的任务。

GPT 系列也呈现代际变化。GPT-5.6 Sol 已能完成部分机器人任务，成功率达到 19.17%，GPT-6.1 Sol 提升至 37.50%，GPT-6 Astra 进一步达到 46.67%。

这些结果表明，机器人操作能力可能早已出现在通用模型中，其提升可能与训练数据分布、能力组合及模型训练方式有关。

通过分析不同模型的失败轨迹，团队归纳出四类关键能力。

图中展示了各模型在 RoboDojo 上的综合得分与以下四类能力错误率之间的相关性。这四个维度的错误率越低，模型的机器人任务表现通常越好。

首先是视觉理解。机器人需要识别物体、判断朝向，并确认操作后的状态。部分较早的 Qwen 模型曾将数字 0 识别成 9，或把倒扣的杯子判断为正放，导致后续动作建立在错误观察上。

在受检查的轨迹中，部分旧版模型的此类错误比例达到 12.2% 至 23.8%。Qwen3.8-Flash-Next 的对应检查样本中未发现此类错误。

其次是空间定位。模型需要根据图像确定目标的三维位置，缺少深度信息时，可以利用多视角观察进行三角测量，但跨视角匹配同一物理位置仍然困难。

论文发现，即使是 GPT-6.1 Sol，仍有约 31.5% 的相关三角测量调用未能通过几何一致性检查。

第三类是几何计算。机器人需要在相机、世界坐标系和机械臂坐标系之间转换位置与姿态，部分旧版 Qwen 模型在相关计算中的错误比例达到 47.3% 至 81.8%，Qwen3.8-Flash-Next 降至 8.2%，DeepSeek-V4.1-Flash 进一步降至 1.5%。

最后是具身推理。模型还需要判断抓取姿态是否合理、机械臂能否到达目标，以及动作是否存在碰撞风险，部分模型即使找到目标位置，也会因手腕姿态错误而反复抓取失败。

研究团队还将机器人操作成绩与 ERQA、MMMU-Pro、ScreenSpot-Pro 和 LiveCodeBench v6 等通用基准进行关联分析，发现视觉理解、具身推理、空间定位和代码能力与机器人表现存在不同程度的相关性。因此操作机器人的能力可能是不同领域的基础能力组合泛化的表现。

机器人操作表现与通用模型能力的关系。

机器人操作涉及连续的视觉判断、空间定位、几何计算和物理决策，任何一个环节出错，都可能使任务失败。未来提升 RUA 能力，需要同时关注这些相互关联的基础能力。

通用框架，uni-robot-agent都兼容了什么？

除了直接调用工具，uni-robot-agent 还支持 Code as Policy、Hybrid 模式（VLM 与 VLA/WAM 协作），以及 Clean Mode（只保留基础工具）。不同方案可以在同一框架下接受测试。

Code as Policy让模型通过编写代码操控机器人，模型可以在程序中完成计算、调用动作，并根据执行反馈决定是否继续。

研究团队使用 Qwen 对比了代码控制与直接工具调用两种方式，覆盖 RoboDojo 的五个能力维度。在 RoboDojo 的 252 次评测中，Qwen 取得 25.60 分。与直接工具调用结果相比，代码控制在精细操作维度取得了更高得分，达到 17.40 分，但整体表现仍有差距。

Qwen 在 Code as Polciy 模式下的得分对比。

框架也支持 Hybrid 模式，让 VLM 与 VLA 协作完成任务。VLM 负责理解指令、分析场景并组织任务，VLA 根据观测生成动作片段，执行反馈再用于后续判断。

团队在 Panda 机械臂搭配 Allegro 灵巧手、宇树 Go2 四足机器人、宇树 G1 人形机器人和 R1Pro 轮式机器人等平台的仿真场景中展示了这种协作，并接入 π₀.₅、GR00T 和 NaVILA 等动作模型，覆盖灵巧操作、人形机器人操作与移动导航。

随着模型能力增强，一些目前由工具封装的计算和操作逻辑，未来可以逐步交给模型自身，Harness 也有望随之变薄。为探索这一方向，uni-robot-agent 提供了Clean Mode，只保留 move、hold、finish、capture_scene 四个基础工具，让模型通过观察、计算和组合动作完成任务。

在带相机标定的设置下，Clean Mode 下的 Qwen 和 Astra 分别保留完整工具配置 90.4% 和 90.5% 的得分，平均 token 用量减少35.7%和78.8%。与历史完整配置的对比表明，精简工具和上下文后，模型仍能维持大部分任务表现，为Harness 做薄、提升 token efficiency提供了初步证据。