MR设备普及是李飞飞世界模型的模拟器底座

Kevin·2026年06月08日 12:00
世界模型的运行终端不是手机,是MR设备

最近李飞飞的一篇文章火了,长文介绍了世界模型的构成,以及所需要的部分。

介绍了真正的AI不应该只是文本,李飞飞当之无愧的成为现在世界模型的第一推行梯队。

这篇文章是原文地址,我将其翻译为中文了

《世界模型的功能分类法》

李飞飞在推崇世界模型之外,但是你去追寻她的所有相关公开发言,从来没有提及过vision Pro,以及MR设备。

而她提及多的就是世界模型与具身智能的关系,对于MR设备产业的上下游她几乎不清楚。

而今天我想提的是空间计算设备,也就是像Apple vision Pro以及AndroidXR、以及PICO swan这些MR设备才是世界模型的底座。

只有他们才能够提供人类现在没有的数据,空间、深度、以及人类互动数据。当MR设备普及、用户使用时长越来越多,空间照片、空间视频越来越多,我们才能够得训练与制作模拟器。

在李飞飞最新的文章提到:渲染器是比较成熟的,比如像现在的ChatGPT image2 、Gemini等这些都是渲染器,而模拟器要的是空间数据、深度数据

而这一切都要来自空间计算,谁能够拥有大量的空间数据,就可以更快的训练、生成世界模型。

现在其他公司采集人类第一数据,数据质量差:因为没有MR设备芯片与操作系统

比如有美国在印度公司开始抓取工人的第一视角数据用来训练机器人,但这些设备由于没有标准的空间技术操作系统,vision OS、AndroidXR,导致采集的数据精度都不够高。

现在Apple vision Pro的数据精度可以达到毫米级,而这些普通的设备由于传感器、摄像头,不管是在算法层面还是在硬件层面,都和空间操作系统相距甚远,所以自然采集的数据都是低质量physics 数据,在vision Pro上的数据质量,可以让机器人完成这个世界的物理操作。

也就是说,MR设备是机器人大模型没有出来的遥控器:至少3年内

像李飞飞说的,现在真实世界数据比互联网少几个数量级,这是非常正确的。

像现在拍摄空间照片、空间视频,很多人都没有看过,真的要看只能在MR设备里。即使是在苹果官方的宣传照片里,也很难让普通感受到3D的空间效果。

空间计算的App也几乎没有互联网的,更何谈数据了

我们在做空间计算开发的时候,就发现能够联网有互联网的空间计算APP在vision OS的AppStore就几乎没有,即使现在苹果官方宣称有几千款APP在vision OS上是native的。

抛开那些visionOS的单机版本、demo能够真正的持续使用的少之又少

MR设备的增长率还要等到2027年,远远没有到来

李飞飞是世界模型的创立者,也是推广者,但是她并不知道MR设备的行业发展是她世界模型的底座,也就是硬件设备底座。

她不清楚人机交互的本质,世界模型如果抛开硬件终端、人机交互,就会成为一个学术命题,而真的要把世界模型用起来,能够训练起来,这就离不开世界模型的运行终端,能够和空间进行交互的,则一定是基于眼镜第一视野的XR设备或者AR设备,这些设备不仅可以感知环境还能够感知空间深度、距离、以及时间。

要想加速世界模型,首先第一件事就是加入MR设备终端的普及,而这一点从现在我们内部知道的是,2026年MR设备从vision Pro开始,再到AndroidXR设备、以及project swan字节跳动等设备,都会大量增加空间视频、空间照片的拍摄数量。

空间视频是一种全新的数据格式,不仅有平面内容还有深度、以及环境mesh网格,这些数据都将成为世界模型模拟器的数据底座。

从现在来看几乎所有的带有空间操作系统的MR设备都可以支持拍摄空间视频与空间照片,比如AndroidXR最新系统版本已经支持将其YouTube变成为3D视频。

空间计算设备,通过空间操作系统将视频转化为空间视频、空间照片能力,是MR设备的标准能力,也是空间操作系统的标准能力。

即使是美国总部,苹果消费者店员也认为他是VR

在苹果总部,vision Pro仍然很多人搞不明白,即使是里面的店员也只会基本操作,当我知道我们团队在做空间计算的互联网,空间互联网的时候都是感叹震惊。

因为他们其实对于下一代计算平台以及vision Pro到底可以发挥多大作用,他们是不知道的,无非就是苹果店里的那几个默认App或教学App。

通过空间计算技术,我最后在苹果visitor center和美国团队的朋友空间聊天以及碰面相关的公司产品介绍。

可以这么说,通过空间计算技术,我们2个即使从没有碰面,也可以很好的进行互动,甚至是有在一起的感觉。

而这一点很遗憾是在苹果体验没有的,因为考虑到用户隐私,现在persona在线下体验店是没有开放的。

只有自己购买设备之后自己录制。

不过最后讽刺的是,在WWDC临近的酒店,中国大妈大叔还是占领了旧金山,与我们这些WWDC的科技从业者形成了鲜明的对比,一个是世界的科技中心当然也少不了中国的退休大妈大叔来旅游。

今天的分享就在这里。

本文来自微信公众号“Kevin改变世界的点滴”(ID:Kevingbsjddd),作者:Kevin那些事儿,36氪经授权发布。

+1
6

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000
特邀作者

《产品之光》、《迭代》作者公众号:Kevin改变世界的点滴

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业