虚拟选秀节目《Alter Ego》播出,AR表演到底有多好看

36氪的朋友们·2021-10-19
AR演唱会走进主流电视节目

《好声音》、《蒙面歌王》这些音乐比赛,大家应该已经耳熟能详了,但你有看过用虚拟形象参加歌唱比赛的电视节目吗?

近期,曾举办美版《蒙面歌王》的Fox电视台,推出了一档基于AR和虚拟人像技术的“真人歌唱比赛”:《Alter Ego》。与《蒙面歌王》相比,《Alter Ego》不需要真人上舞台,选手在后台可以自己独立控制虚拟形象,最后获胜的选手才会与评委见面。观众和评委都是通过屏幕观看表演,舞台上没有人,只是通过AR将虚拟选手叠加在舞台上。实际上,以虚拟形象举办演唱会是疫情期间兴起的一种趋势,不过现在看来虚拟形象与现场真人观众、评委结合,效果看起来更加逼真。

其形式类似于AR洛天依表演、英雄联盟K/DA表演等等,观众只能跟随现场直播摄像头的角度查看AR,AR表演显示在2D屏幕上。这与AR移动应用有所不同,观众不能通过移动手机来从多角度查看。

《Alter Ego》比此前大多数AR表演规模更大,时间更长,20名选手可分别在后台通过全身和面部动捕技术,来控制舞台上的AR来进行表演。在这个节目中,表演者可以扮成各种具有未来感的虚拟形象,比如蓝色皮肤、粉色头发等等,他们还可以做出摸头发等逼真的动作。

简单来讲,线上观众看到的《Alter Ego》节目是提前录制好的,但是在录制现场,观众和评委看到的AR形象是实时渲染的,由后台的选手用动捕控制。也就是说,我们在视频中看到评委看向舞台与选手对视,是因为评委在看舞台上视线高度的屏幕。而舞台上的主持人Rocsi Diaz,几乎是唯一需要假装和空气说话的人,她表示:这就像是小时候跟想象中的朋友聊天一样,很有趣。

虚拟演出背后采用的技术

据了解,《Alter Ego》在舞台上配备了14台摄像机,其中8台采用了高端摄像头追踪技术。此外,摄影棚顶上设置了数千个红外光反射的标记(2.54x2.54厘米的银色方块),帮助摄像头定位。

代表选手的虚拟形象由Silver Spoon设计,是根据选手的喜好为他们量身定做的。去年,Silver Spoon曾为美国职棒大联盟赛开发AR虚拟观众。除了Silver Spoon外,AR公司Lulu曾协助《Alter Ego》设计舞台布局。

在选手表演过程中,现场的摄像机实时定位舞台场景,并通过Unreal引擎在舞台上实时渲染和叠加AR虚拟形象。

《Alter Ego》创意制作人Michael Zinman表示:5年前,制片公司还不能做出这种实时渲染的AR舞台,这种技术从去年才开始初见成效,不过直到今年才达到优质效果。如果没有使用实时AR,而是采用后期制作,那将需要6个月时间完成。而现在,只需要三个月。尽管如此,在开拍之前,我们用了至少一年时间去开发节目中使用的技术。

近年来,3D图像渲染的质量在不断提升,因此《Alter Ego》的团队也利用最新的技术,为虚拟形象设计出更加逼真、自然的动态。比如:它们能够捕捉并模拟选手哭泣的表情,而且身上的反光、阴影,以及地上的影子等效果可跟随位置移动或光线变化而变化。

细节方面,选手在后台会穿上全身动捕装,面前还固定了用来追踪面部表情的手机,因此全身动作几乎都能模拟。因此,《Alter Ego》中虚拟形象的动作比以往技术看起来更有生命力,观众看起来不会很假。

在第一集中,有一个小细节,就是第二位选手胳膊上的文身是动态变化的,而这种效果是真人表演无法实现的。

与此同时,为了进一步提升AR与物理空间的融合,还需要避免真人伴奏、主持人与AR形象的位置关系。因为现有技术只能让AR位于最前端,因此物理场景中的人、物体在视觉上看起来都在AR后面,如果与实际位置关系出现偏差,会容易失真。于是在拍摄时,需要注意不要将表演者移动时与钢琴产生的重叠拍进去。此外,舞台上加入烟雾特效时,可能也会出现视觉上的位置不匹配。

虚拟形象可以解决表演者们此前无法上台表演的许多难题,比如:怯场、容貌/年龄焦虑、从演艺行业失业等等。Diaz表示:这种虚拟形象技术,将有望改变音乐表演行业。

大家对虚拟形象的看法

对于这种全新形式的表演,《Alter Ego》的评委、选手和观众纷纷表达了与以往不同的感受。

比如,60岁的Matthew Lord此前是茱莉亚歌剧中心的演员,后来他开始和乐队进行全国巡演,直到疫情终止了他的唱歌生涯,他只能以为工厂开卡车维生。来到《Alter Ego》后,他可以更加自信的继续唱歌,因为他不用因为自己的经历、自己的年龄而自卑,可以扮演蓝色的狼人来唱歌。他表示:我是光头,但是虚拟形象让我有了头发,即使我上了年纪,也能和其他年轻选手比赛。

Yasmin Shawamreh认为自己比别的歌手胖,因此在音乐行业常常被拒绝。通过定制的虚拟形象,她觉得更能显示出自己坚强的内心。

除此之外,参加表演的选手还包括拥有音乐梦的母亲、想改变音乐类型的歌手等等。

而观众对这档节目则褒贬不一,有的认为有趣、惊艳,有的认为虚拟形象不够生动、效果低于预期,也有的人用搞笑的方式扮演节目选手。

虚拟偶像的兴起

《Alter Ego》的目标是:不以形象外表为重点,寻找美国下一代音乐明星。《好声音》系列节目最初的目标也是这样,不过由于需要真人表演,最后的冠军难免也会遇到音乐行业存在的一些高要求、偏见等等。

相比之下,《Alter Ego》的冠军用虚拟形象就能表演,虚拟形象在观众脑海中的印象会更加深刻。

2016年就出现Lil Miquela等虚拟的平面网红,在Instagram上已经获得300万粉丝。虚拟网红受粉丝们喜欢的原因有很多,比如外表、声音和性格可以比普通人更“完美化”,同时看起来足够人性化,可以给粉丝带来不逊于真人网红的体验。而在今年,说唱歌手Travis Scott在游戏《堡垒之夜》中的表演,最高峰时期吸引了1230万人同时观看。

这些例子说明,和真人表演相比,虚拟偶像、线上虚拟表演也同样具有吸引力,而随着《Alter Ego》在主流电视台亮相,这种形式的表演在未来有望得到更多应用。

与此同时,以AR形式将真人搬上舞台的应用也有望更加广泛。演唱会设计师兼MR专家Cory Fitzgeral就看好AR表演的前景,并认为它的发展会比原先预期更快,可能会在几个月内普及。

而Zinman则认为,未来人们会在AR眼镜中观看虚拟形象的表演,AR将成为虚拟演唱会的未来。或者,AR眼镜可以为线下演唱会带来基于AR的特效,丰富线下表演形式。

总之,《Alter Ego》才刚开播,节目最后选出的冠军将如何继续自己的虚拟演出事业,是值得关注的。

参考:

https://www.rollingstone.com/pro/features/alter-ego-singing-competition-augmented-reality-tv-show-virtual-avatars-1228045/ 

本文来自微信公众号“青亭网”(ID:qingtinwang),编辑:Esther,36氪经授权发布。

+1
5

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

文章提及的项目

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业