在元宇宙里,空间音频将扮演怎样的角色?

中国音乐财经·2021-09-07 07:03
空间音频到底有什么特别之处?在元宇宙中又将扮演怎样的角色?

继无损音质之后,音频技术又再次展望新高度。

今年6月8日,Apple Music正式发布空间音频,还创建了一系列空间音频歌单,帮助乐迷体验这一新技术。粉丝可通过聆听特别指南里收录的Marvin Gaye和The Weeknd热门作品片段,了解从单声道到立体声再到空间音频的体验差别。

“音乐的未来是空间音频,而不是无损音频”,苹果互联网软件和服务的高级副总裁Eddy Cue在Billboard的采访中如此说道。在Eddy Cue看来,某些耳朵极好或拥有超高质量立体声设备的人能听出普通音频和无损音频的差别,但大部分人区分不出来,所以无损音频是小众市场,但空间音频则可以是真正改变格局的因素。

Eddy Cue将空间音频比作高清电视,所有人都能立刻看出普通电视和高清电视的差别,一旦听过就回不去了。

很快,音乐流媒体平台Tidal和Deezer也推出了类似的功能。但青睐空间音频并不仅仅是音乐流媒体平台,Netflix、Clubhouse也相继宣布将支持空间音频。

近日,全球最大的多人在线创作沙盒游戏平台Roblox宣布正在开发空间音频功能,更是令人对空间音频的使用充满遐想。

空间音频到底有什么特别之处?在元宇宙中,它又将扮演怎样的角色?

什么是空间音频?

空间音频,业界也常称为沉浸式音频。

在伯克利音乐学院教授《VR的沉浸式音频入门课》课程的助理教授John Escobar介绍道,“空间音频在传播内容方面给与了创作者更加能够模拟人类直接的感官体验。这意味着音频创作说故事的能力被大大提高了。对于听者而言,这意味着,他们将身临其境地感受一场电影、演唱会、live演出等。”

但John Escobar认为这项技术很难定义,“因为我们仍在试着充分发展这门技术,使这个概念成为消费者能充分感受到的体验。”

对于伯克利音乐学院研究古典音乐的副教授James Donahue而言,空间音频并非什么新鲜事,自古已有之。空间音频的“直接性”体现在听感的“高度”上。“通过为事物加上高度,它给了你一个穹顶,一种空间感。在此之前,声音总是要么在前后,要么在左右。”

James Donahue此前对拜占庭时期的音乐多有研究。一提到拜占庭教堂,很多人会想到其视觉效果和宏伟壮观程度,James Donahue则指出,拜占庭时期的人对建筑有很多的思考。

他们在修建建筑时会想到如何巧妙地通过建筑构造加强音乐的回响,使其更具空间感。他们通过建造穹顶,使声音以某种特定的方式反弹回来。现在我们知道这效果叫做“拍打回声”(Slap Echo)。但拜占庭时期的人们根据经验将此称为是天使挥翅的声音。

伯克利音乐制作及工程(MP&E)副教授John Whynot指出,听到“空间”、“沉浸式”,我们很容易会以为这将会带来全新的体验,但我们不应为新科技的美好外表冲昏了头脑,“沉浸式这个词就很像是噱头。实际上,但凡是声音,都是沉浸式的。”

在伯克利教授关于VR的沉浸式音频入门课的助理教授John Escobar则认为,不论科技是否先进,这只不过是科技,只不过是为人们提供了一块新画布来施展创作。

“沉浸式音频的真正威力在于其讲故事的潜力。我们有很多学生真的在创作中拓展了探索的边界,让听者能够有更多方式感受到所谓的沉浸式。”John Escobar表示。

并且,空间音频并不直接意味着音频质量的提高,其使用还是需要经过的谨慎的、艺术化的处理。

比如被苹果用来推广空间音频的Billie Eilish的新专辑中,音乐强调了空间感和整体感,在空间音频的运用上非常出色。但这并不意味着空间音频天生就能把音乐处理得这么好。如果只是简单地把声音从四面八方扔过来,听者反而会感觉失去方向感,并感到难受。

△在Billie Eilish和Apple联合发布的短片中,多角度的灯泡和镜子被用来暗喻空间音频的立体

对于John Escobar而言,这只是意味着音频创作者多了一个工具去创造艺术。而就如同任何其它工具一样,“我们的工作就是掌握这门工具,并使其成为我们的肌肉记忆。”

最初,苹果花了很多时间游说厂牌和音乐人,教他们如何使用空间音频。这一步非常必要,因为将一首歌转化到空间音频需要非常深度的处理,而并非简单地将一个文件转化为立体声音效。

由于这些必要的步骤,空间音频和Dolby Atmos发布时只有一部分歌曲支持这一功能,大概在7500万首左右,但到今年7月的时候,已经有上亿首歌曲支持空间音频。而Eddy Cue相信这只是一个开始,最终,“所有新出来的歌”都会支持空间音频。

空间音频与元宇宙

作为元宇宙的领跑者之一,Roblox正在预想虚拟世界真正需要的是什么。

今年7月,Roblox的日活用户达到4660万左右,同比增长28%,环比增长8%,日活数字已经相当好看。现在,Roblox正在谋划如何打造更加丰富和深刻的虚拟体验,让用户在接下来的几年继续保持增长。

为了达到这一目的,Roblox谨慎又坚决地将声音纳入了平台核心体验的版图。为此,Roblox投入研究音频,又在今年8月收购了聊天平台Guilded,为之后的音频功能打下基础。

通过空间音频,用户在游戏中可以实时用语音和附近其他的人说话。Roblox将这一新特性看作文字对话的自然衍生品。有了空间音频,就不会像以前那样,再有文字气泡出现在玩家的脑袋上,并且周围所有玩家都能看到。

但这并非是普通的语音聊天。假设一个场景,你在Roblox里的一个支持空间音频的虚拟滑板场乱逛,你会听到在U型场上滑滑板的玩家发出的巨大声响,就如同在现实生活中一样。但你不会听到马路对面人行道上的人的声音,因为他们离得太远了。

“当我们思考在未来元宇宙里的交流方式时,我们认为这得要非常自然,非常接近我们在现实生活中的交流方式”,Roblox的首席产品官Manuel Bronstein在采访中说道,“但也可以超过现实生活中的一些物理和空间限制。”

Manuel Bronstein是在今年3月加入Roblox的,在此之前,Manuel Bronstein曾在Zynga、Xbox以及YouTube的产品团队工作过,在离开Google之后,Manuel Bronstein来到Roblox,帮助实现其关于元宇宙的愿景。

Manuel Bronstein认为,“如果你想把元宇宙当做下一个可以购物、看演唱会、上学的地方,那么就得和社会上的其他人产生联结。这时你既需要创造内容,也需要创造支持这一切行为的规则。在平台使用空间音频是为了让我们年纪大一些的玩家可以有一种自然的方式去沟通。”

语言聊天正在Roblox上逐渐成形,公司目前邀请了5000名大于13岁的开发人员在Roblox已有的一些环境中测试新的空间语音能力。

Manuel Bronstein介绍,“我们在场景中设置了很多简洁的特性,以及专门用来聊天和散步的地方,让玩家可以学会我们为这个社区空间写的代码……然后几周或一个月后,他们就能将这个用于他们自己的游戏体验中。”

Manuel Bronstein强调,Roblox将会慢慢来,在完善空间语音功能的同时建立新的调节机制和安全工具。音频的改变会慢慢发生,首先是在开发人员选择的一些圈子里,然后慢慢扩展到公司配备了调节工具,认为足够安全的环境中。

Manuel Bronstein表示,“我觉得我们想要慢点来,这样我们也可以在这个过程中不断加深我们对它的了解。就如同我提到的那样,我们会先从开发人员开始。在这之后,我们会在大于13岁的玩家中进行测试足够长的时间,直到我们真的了解功能落地后的效果,我们再决定这是否能开放给年龄更小的玩家。”

为了减少虚拟世界的消极影响,Roblox有很多自动检测功能,还有一个3000人的安全团队实现真人监测。和其他社交网络一样,玩家可以举报、屏蔽、禁言其他玩家,以让自己的游戏体验更加舒适。

由于Roblox的玩家有一半都未满13岁,Roblox让玩家父母可帮儿童玩家决定哪些适合他们年龄的体验。虽然小于13岁的玩家数量非常大,但正在有更大龄的玩家不断涌入,其中以17-24岁为主,并且原本低于13岁的玩家也会不断长大,Roblox知道,游戏也需要伴随着小玩家们的长大而有所成长。

不论是否语音聊天会面向低龄玩家开放,Roblox都意识到了,要在虚拟环境中,让语音聊天保持安全和友好并非易事。Roblox打算一开始主要依靠来自用户的举报,同时Roblox也在探索其他工具,比如自动录音,这样人工检测就可以有据判断举报是否合理。

再比如声望系统,如此一来,被多次举报的玩家的发言可以自动受到一些限制。但这也让遭受不好经历的玩家肩负起一些责任:在已经遭受了不友好以及骚扰行为后的玩家需要举报,才能让施加者遭到惩罚。很遗憾,这是所有社交平台都会有的,但也都未能解决的问题。

Roblox并非是唯一一个有空间音频的游戏。大多数现代军事模拟游戏都有这个功能,以增加真实性。但这是第一次元宇宙将这一功能纳入框架。

结语

空间音频刚刚推出不久,似乎还有许多想象空间。除了能让音频创作拥有更多的发挥空间之外,由于能够更好地模拟人的听感,空间音频将成为VR使用场景中的重要一环。

但我们也注意到,目前用户在Apple设备上感受到的空间音频并非是Roblox所描绘的那样,而主要体现在音效随着双耳与音源之间相对位置的变化而变化。

空间音频的落地应用或许还有一段路要走,但是这段路,并不会很长。

参考

《A Symphony Hall for Your Head: What Is Spatial Audio and Should You Care About It?》

《Roblox Testing ‘Spatial Voice’ Concept – Like Clubhouse in a Virtual World》

《Voice chat is coming to Roblox》

本文来自微信公众号“音乐财经”(ID:musicbusiness),作者:万冰玲,编辑:乔娜坤,36氪经授权发布。

+1
7

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

提及的项目

查看项目库

下一篇

一款革命性的创新型产品,还是又一场惊天的“庞氏骗局”?

2021-09-07

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业