Ambisonics在VR声音制作中实际使用的构思和技巧
文章来源:postperspective 作者:Claudio Santos 编译:新昕
近几年,VR虚拟现实以一种全新的媒介形象崭露头角,同时在电影制片界被众人广为讨论,虽然目前在这一方面对未来技术的发展依旧没有达成共识,但虚拟技术这一块一度成为众人皆知的热门话题。不管众说纷坛的预测如何,已经有许多厂商和设计者正在对这一技术如何更好地适应当前市场进行了相应的制作试验,随之越来越多的虚拟现实的内容正在被创造出来。
在虚拟现实发展前景里,有一个东西,它一直以来都是我们的好帮手,那就是360全景视频,由于它独特的自身优势,全景视频在YouTube和Facebook等平台上越来越受欢迎,它既可以在VR头戴硬件上播放,比如GearVR或DayDream,也可以在手机、平板电脑和台式电脑上播放。比起那些拥有VR耳机占比相对较小的群体,360 videos则是大大地挖掘、扩展了潜在的受众群体。
但仅仅让图像沉浸在360度的环境中是不够,没有相应的声音音频,这种虚拟错觉就很容易被打破,很难让体验者去朝向每个时刻发生的方向并作出反应。严格来说,已经有一些方法可以将Spatial Sound空间声音设计成360度并以相应的形式呈现出来,Ambisonics就是常见的一种,并且已经作为YouTube等平台Spatial Sound空间音频的格式标准。下面分享一些关于Ambisonics以及如何使用的构思和技巧。
首先,什么是Ambisonics,我们为什么要谈论它?
Ambisonics是一种与常规的立体声/环绕模式略有不同的声音格式,因为它的频道并不是附加在扬声器上的,相反,一个Ambisonics的录音实际上代表了一个点周围全方位的声场。在实际操作中,你可以从听觉感官上感受到来自各个方向的声音,如果使用适当的解码器,你可以在任何一组扬声器中播放相同的录音,无论水平还是垂直的,在体验者周围,都有任意数量的频道,这就是为什么我们发现在使用空间声音进行虚拟现实时很有意思的原因。
关于Ambisonics,请点击我们之前的文章:关于Ambisonics这种声音格式。| Waves Audio的Ambisonics声音制作指南(上) | (下)| 在大家应用Ambisonic之前,需要更多了解,我们近期推出Ambisonics专题,欢迎大家关注。
VR声音最棘手的问题是你不能预测在任何给定的时间里体验者会看往哪个方向观看。使用Ambisonics的话,我们可以设计出完整的声音“球体”,虚拟现实玩家或观影者可以在实时的视频中带着耳机听到空间的声音。Ambisonics可以编解码成双声道,以便精确耳机中的回放,最妙的是解码过程有着相对轻松的处理需求,使得它一个对那些有限硬件资源的媒介(如智能手机)来说将会是一个合适的选择。
为了配合Ambisonics的使用,我们有两种选择:第一种选择是用Ambisonics麦克把声音录在特定位置上(通常是录音机),这样我们就能很逼真地再现声音的整体感觉和位置,并且Ambisonics非常适合用于氛围环境录音;或者我们可以将其他声音格式(如单声道和立体声等)编码成Ambisonics,然后编辑操控这个声音,这一方法为我们在后期制作中使用声音素材库和创建有趣的效果提供了极大的灵活性,同时可以精确地定位和调整范围内的声音宽度。
“In-head播放方式”
如何处理“in-head”单声道,比如VO对白?
这是我们在适用研究Ambisonics时发现的问题之一。最简单的解决方法是你就顺其自然地熟悉了两种声音的音轨是如何相互配合的,即在声场的所有方向上均匀地放置一个声源时并不是完全直观的。
Ambisonics音频的一个全方位频道,名为W,包含声音的水平信息,另外三个频道通过相位关系描述声场中的声音位置。每个频道都代表一个维度,使在三维空间中可以进行声音定位。
我们的目的是声音源在声音领域“球体”的中心,即体验者的头部,如果让声音在相同的水平和中心从各个方向进行播放,在实践中,这意味着如果你只把声音从第一个频道播放出来,没有任何信息进入其他三个频道,那么此时声音的播放方式就是“In-head”。
如何处理Ambisonics系统里的画外音?
这是一个必然会碰到的问题,是一个如何处理单声道资源的问题,而解决方法也许会有些棘手。工作原因你需要把Ambisonics和单声道结合起来,第一个频道与Ambisonics声源并不是能够很完美地配合,这就取决于你使用的音轨,但结果可能会不是很理想。
那如果你想保持声源的宽度,我们也发现了一个很好的选择,那就是将声音以镜面原理反射到两个方向。一些具有镜像域的镜像功能插件套件,比如Ambix VST,当然也可以通过仔细定位声源的副本来实现,但前者会更加容易些。
Ambisonics声场放置左侧的例子
一般来说,我们的目的是把立体声源的中心聚焦在动作上,体验者将会看到从顶部至底部、从前至后都反映出来的画面。因此,不管体验者朝哪个方向,音乐都会保持在相同的水平播放,同时也保持着声源的空间性。它的缺点就是声音无法固定在体验者的角度,所以当体验者改变方向时,会注意到声源方向的变化,尤其当体验者看到背面时,声源方向会改变原本的方向。然而我认为换个角度去想的话,这可以是一个有意思的效果,它其实并没有过多地分散体验者的注意力,但如果方向性的改变太过明显,为了减少被感知的音轨宽度,你也可以把音乐的单声道和两个频道混在一起。
在Ambisonics中,如何创造性地使用混响?
关于Ambisonics的混响方面,并不是无计可施的,相反你可以利用它做很多事情,这只是我觉得它功能里许多有用的小技巧的其中之一了。当在某个方向上有一个的障碍物(比如一堵墙),而在相反的方向上没有障碍物时,我觉得在这种情境下它的作用非常大。
在这种情况下,声音会从障碍物(墙)那一个方向反射回体验者,而在相反(没有障碍物)的一侧,由于开放的场地,声音并不会反射回来,而你可以通过设置一个稍微延迟的反向从障碍物的方向来模拟,这个声音上的延迟取决于体验者和障碍物的距离,你可以调整反射声音的宽度,以配合障碍物的大小,在这种情况下,效果通常比早期反射的倒影效果更好,而不是近期的反射。
一旦使用了这种技术,你就可以尝试使用各种各样的方法来模拟不同的空间,并可以实现更真实的混音,真实到会骗倒体验者以为这后期制作的声音就是真实的在某个地方录音录下来的。
近期我们推出了Ambisonics的小专题,希望大家多点击转发。点击:
新人课堂:关于Ambisonic这种声音格式 | Waves Audio的Ambisonics声音制作指南(上)| (下)| 瑞典声音设计师Anna Bertmark谈Ambisonics录音
也请访问国内目前唯一个关注VR声音的专题频道。点击查看往期相关文章:
VR杜比全景声与保罗·麦卡特尼新唱片(中文视频)| 新人课堂:使用森海Ambeo和ZOOM F4录制VR声音 | 森海塞尔Ambeo VR MIC(视频)| RØDE 新产品发布 第一款机头环绕话筒 | RODE并购环绕声录音品牌SoundField | 新手分享:VR/3D声音流程介绍 | ORTF录制方式及设备浅析
推荐阅读:点击下方图片即可阅读
VR声音 | Ambisonics制作指南
经验 | 《丛林中的莫扎特》声音大胆创新
Rycote晒图大赛 | No.002参赛作品