无人车团队跨维进军好莱坞,推出电影级视觉AI特效,“新时代皮克斯”

量子位·2024年07月09日 18:29
团队还有沙丘复联幕后人员

好莱坞级视觉AI横空出世!一个demo已令网友疯狂~

这个demo来自Odyssey,能够打造好莱坞级山脉、平原、植被、海洋、河流等故事镜头。

其最大亮点在于,实现了对视觉叙事核心层的完全控制,使用户能够完全控制场景的每个生成元素和方面。

这突破了现有视频AI最大的障碍——可控性

看完效果,有网友振臂高呼:

新时代皮克斯!

其他人更是第一时间争当起Beta测试人员。

为什么Odyssey值得关注?接下来一起扒一扒。

好莱坞级视觉AI

Odyssey灵感来自80、90年代开创性的计算机图形研究以及皮克斯的创立故事。

这里涉及两个核心:一是技术,二是故事。

Odyssey要做的事儿,是用人工智能制作电影、电视节目和视频游戏。

在实现这一目标的过程中,人们当前遇到的最大障碍是——AI可控性

对此,Odyssey提出了新的解决方案:

更强大的模型。

他们正在训练4个生成模型,以实现对视觉叙事核心层的完全控制。

这4个单独模型将分别生成,比如高质量几何图形:

生成真实感材质:

生成逼真光影(控制时间、四季变化):

生成可控运动:

总之,单个模型可以实现精确配置场景细节,而结合起来将生成完整的视频或场景。

此外,Odyssey允许用户不断迭代,其生成工作流程将与专业级版本控制相结合。

其创始人提到:

Odyssey已经被设计成可以轻松整合进好莱坞以及其他地区正在使用的现有工作流程或系统中

Odyssey正在围绕这些为高级用户量身定制的模型构建工作流程,并与好莱坞、游戏等领域使用的现有制作工作流程进行集成。

其创建的所有内容都可以在标准化的3D文件格式中进行编辑和导出,例如使用USD格式

不过有一说一,虽然Odyssey看起来效果还不错,但眼尖的网友还是发现了一些小bug

比如00:30处手部细节:

最后,官方还放出了一段工作原理的渲染视频。

关于团队

比较有意思的是,Odyssey的团队与自动驾驶汽车关系颇深。

据创始人透露,其大部分成员花费了数年时间来构建AV(自动驾驶汽车)技术。

比如两位核心创始人。

CEOOliver Cameron, 60多家DeepTech初创公司的天使投资人,职业早期一直从事自动驾驶汽车领域。

CTOJeff Hawke,负责Odyssey可定向视觉AI,研究领域涉及机器学习、计算机视觉、机器人等。

他曾在牛津机器人研究所读博期间,开发了一种用于自动驾驶和移动机器人的专家混合视觉系统。

此外,他曾在Wayve(自动驾驶汽车制造商)工作期间创建了行业首个在公共道路上使用深度学习和计算机视觉学习驾驶的自动驾驶汽车。

用创始人Jeff Hawke的一句话来描述:

自动驾驶汽车被教导如何驾驭世界,Odyssey被教导如何生成世界。

至于与AV的关联性,他归结为了3点:

  • AV必须推动视觉AI中的SOTA发布
  • AV扩展性能与真实数据
  • AV需要可扩展、物理精确的模拟系统

鉴于团队在自动驾驶汽车方面的丰富经验,Odyssey自然转向了3D,并生成了多层3D世界。

且通过多个生成模型,Odyssey能够实现细节微调控制

另外,为了打造好莱坞级视觉AI,Odyssey招募了一支由AI研究人员和好莱坞艺术家组成的团队。

研究人员来自Cruise、Wayve、Waymo、Tesla、Meta等,艺术家是《沙丘》、《哥斯拉》、《复仇者联盟》等作品的幕后制作者。

那么你觉得Odyssey的效果如何呢?

参考链接

[1]https://x.com/olivercameron/status/1810335663197413406

[2]https://x.com/jeffrey_hawke/status/1810435686136197303

本文来自微信公众号“量子位”(ID:QbitAI),作者:一水,36氪经授权发布。

+1
15

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

对于大众来说,使用食用油和工业用油混罐使用,多少有悖常识。

2024-07-09

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业