想成为抖音的下一代舞王?Deepfakes 技术可以帮你

图普科技·2018年08月30日 17:47
人体姿势和舞蹈动作迁移。

编者按:本文由「图普科技」编译自Deepfakes for dancing: you can now use AI to fake those dance moves you always wanted

人工智能在视频操作方面十分强大,利用deepfakes 技术来实现人脸交换就是最显著的例子。然而,技术更新换代日益迅猛,deepfakes 技术的最新应用是什么呢?让我们且称之为deepfakes舞蹈合成术。它利用人工智能读取舞蹈动作,并将其复制到目标对象。

该技术是由加州大学伯克利分校的四位研究人员研发的。正如他们在arXiV上发表的一篇论文中所述,该系统由许多独立的步骤组成。首先,录下目标对象的视频,用子程序将其动作转化为线条画。(要保证转化的质量则需要较多的视频素材:大约20分钟的视频,每秒120帧)。然后,找到一个源视频,并制作他们动作的线条画。然后,就可以进行交换了,基于源视频的动作线条画通过神经网络合成目标对象的视频。

 

从现代舞到芭蕾舞,该系统可将各种风格的舞蹈动作转化为线条画

这听起来可能很简单,但其中包含着工程师们不少的奇思妙想。例如,里面有一个子程序可以使动作的线条画更平稳,因此舞者不会过多地晃动,此外还有一个完全独立的神经网络,专门用于追踪目标对象的脸部以确保真实感。

然而,该系统也有一定的局限性。例如,神经网络无法准确地模拟松散的衣物,因此目标个体必须穿紧身的衣服。在发布出来的视频当中,你还是可以看到相当多的违和之处,尤其是当目标对象和源视频中舞者的关节没有对齐或人工智能软件无法重现如手部快速从后往前翻转等复杂动作时。

不过,该系统仍令人印象深刻。过去,这种视频操作可能需要花费整个团队一天的时间,但现在仅需要一些源视频和正确的人工智能软件。预计不久以后就会发布应用该技术的APP,但我们可能需要先忽略一下这可能会给视频的真实性带来的影响。

注:本文由「图普科技」编译,您可以关注微信公众号tuputech,体验基于深度学习的「图像识别」应用。

+1
4

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

一窥中国线下娱乐的先锋借鉴对象

2018-08-30

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业