硬刚Sora 2,马斯克发视频大模型,免费可玩,前英伟达何宜晖参与
马斯克和阿尔特曼又杠上了!
智东西10月8日报道,今天凌晨,马斯克的大模型独角兽xAI祭出最新视频生成模型Imagine v0.9,免费向所有用户开放。
一周前,OpenAI发布了旗舰视频和音频生成模型Sora 2,此次更新或许是马斯克对Sora 2的直接回应。
xAI并没有放出完整的技术博客,只是提到Imagine v0.9相比初代版本在视觉质量、动作、音频生成方面有所升级,并上传了几个生成视频案例。
马斯克在X上发帖称,Imagine v0.9的视频生成时间不到20秒,且用户可以基于语音优先界面,只需说话就能创建视频、图像和文本。
总结来看,Imagine v0.9的生成速度更快,在20秒以内,Sora 2生成视频可能需要一两分钟;Imagine v0.9已经免费向所有用户开放,Sora 2采用邀请制允许部分用户使用;Imagine v0.9生成的视频时长在6秒左右,Sora 2支持15秒视频生成。
智东西对比了Imagine v0.9和Sora 2的生成效果,采用OpenAI官方示例的提示词,Imagine v0.9在生成时会出现提示词理解错误、视频画面与音频不符、不提示深度伪造风险、无法说中文等情况。
值得一提的是,这也是马斯克今年7月挖走英伟达高级算法工程师何宜晖(Ethan He)之后,何宜晖在xAI参与的第一个项目。
何宜晖2018年本科毕业于西安交通大学计算机科学与技术专业,2019年在卡内基梅隆大学取得计算机视觉硕士学位,2023年加入英伟达担任高级深度学习算法工程师,曾参与英伟达世界基础模型Cosmos研发。
尽管Imagine v0.9可以免费使用,但智东西尝试后发现Web端目前无法正常工作,移动端可以体验,不过也会出现连接失败的情况。
秒生电影大片效果
还能添加自然对话
Imagine v0.9集成到了Grok中,其会根据文字先生成图片再创建视频,或者直接将用户上传的图片变成视频。
xAI在博客中提到,Imagine v0.9突破了原生音频+视频生成的界限,开箱即用,无需编辑即可创建类似电影效果的视频。如下面这段视频中的视频中还伴随实时的龙的怒吼。
Imagine v0.9另一大升级点是运动控制,如下面视频中的滑雪片段,视频中人物飞起到落下的动作丝滑。
第三点是用户可为视频添加动态相机效果,如智能焦点转移,下面视频中根据镜头位置变化,会对应虚化街景突出人物。
第四点是Imagine v0.9支持添加自然对话,或者生成具有表现力的歌声等。
对比Sora 2文字理解错误频发
有深度伪造风险
智东西使用了OpenAI演示Sora 2时的提示词,对比了Imagine v0.9和Sora 2的生成效果。
提示词:Two mountain explorers in bright technical shells, ice crusted faces, eyes narrowed with urgency shout in the snow, one at a time(两名山地探险者穿着色彩鲜艳的专业冲锋衣,脸上结着冰霜,眼神急切地眯成一条缝,在雪地里轮流大喊)
OpenAI放出的Sora 2生成视频:
Imagine v0.9的生成视频:
可以看出,Imagine v0.9生成的视频中音频并没有包含“喊叫”,只是画面中人物在张嘴。
提示词:a guy does a backflip(一个男人后空翻)
OpenAI放出的Sora 2生成视频:
Imagine v0.9的生成视频:
智东西选择了Grok生成的第一张图创建视频,视频中主角完全无视重力开始在空中360度旋转。
最后智东西还体验了Imagine v0.9的自定义语音能力,智东西上传了马斯克的照片,让他说出“Sam’s a sharp guy, and our relationship’s always been good. OpenAI’s built some impressive stuff in the AI space, and I really hope to partner with them someday to advance AI development togethe(萨姆是个敏锐的人,我和他的关系一直都很好。OpenAI 在人工智能领域做出了不少亮眼的成果,我真心希望有一天能和他们合作,共同推动人工智能技术的发展)”这段话。
Imagine v0.9没有提示深度伪造风险,但生成的声音与马斯克本人略有区别。
目前该模型不支持中文,当智东西让马斯克说出“我和萨姆·阿尔特曼是好朋友”,其生成视频中只有“是好朋友”较为清晰。
结语:AI视频生成竞赛升级
自定义语音功能或引发深度伪造风险
一周内,OpenAI、xAI接连发布视频生成模型新进展,Sora 2不仅在模拟真实性、可控性及音效方面提升,还推出了全新Sora社交App,xAI则在功能升级的基础上,通过免费开放吸引了一大波流量。
此次Imagine v0.9的一大升级点是允许用户在视频中添加自定义语音。这项技术进一步成熟后,用户可以自行上传公众人物照片及说话内容生成逼真视频,这或带来深度伪造风险。
因此,未来如何平衡技术发展与风险防控,或许是所有视频生成模型提供商都需直面的技术难题。
本文来自微信公众号 “智东西”(ID:zhidxcom),作者:程 茜,36氪经授权发布。