谷歌公布开源项目Omnitone
谷歌在其官方博客上公布了其网页 VR 音频系统 Omnitone 项目的技术细节。Omnitone 项目是一个跨浏览器支持的开源空间音频渲染器。
谷歌这次解决的问题其实也是其他 VR 设备也要解决的,就是营造“全景沉浸声音”环境。
如上图所示,随着用户佩戴的头显发生移动,声音的位置应该是不同的。用户听到来自后方的拍手声,于是应声转向身后,此时声音应该是变成从前方传来。VR 体验需要在周围模拟一个全方位的声音环境,并且让声音在 3D 环境中随着你头部的运动而及时自动定位。谷歌在这里使用的是“头部相关函数”(Head-related Transfer Function,简称 HRTF),这也是 Oculus Rift 等产品普遍使用的技术。
但谷歌 Omnitoneo 团队面临的主要挑战就是:在已有的浏览器里引进环绕立体声技术(Ambisonics),同时不能干扰浏览器本来的运行。他们想出的解决办法很聪明,而且单刀直入。
下面是 Omnitone 音频处理过程图解。
沉浸声里包含四种声道,可以在任意一个扬声器设置里进行解码。Omnitone 没有使用实体扬声器,而是基于 HRTF 设置用 8 个虚拟的扬声器来渲染最终的双耳音频流。双耳渲染音频仅通过耳机就可以营造一种空间感。
这个系统的关键之处就在于中间的声场转换(如图解里 Rotator 模块所示),把 VR 头显或者耳机里方向传感器的数据与 Omnitone 的解码器无缝衔接,从而流畅地将整个音场进行转换。据悉,Omnitone 所有代码都是用 Java 编写,支持 PC、移动端以及 VR 头显运行(不过暂不支持移动网页)。另外,Omnitone 的空间音效参数采用的是谷歌的标准,但也能在其他多种浏览器中运行(例如 Edge、Safari 和 Chrome)。
Omnitone 已经在 Github 上开源并且有经过渲染的样本。
等到 VR 应用的钟摆从专用 App荡回网页系统时,谷歌那时就已经准备好了。
我们开通了唯一一个中文VR声音频道,请访问我们的网站,粘贴下面的地址到浏览器或者点击原文链接。
http://www.locationsound.cn/portal.php?mod=list&catid=31
推荐阅读:点击下方图片即可阅读
纪录片声音专题▲ | 纪录片的声音设计,奥斯卡录音师Coll Anderson访谈
订阅同期录音网公众号,中国唯一一家针对影视录音信息的垂直门户网站及公众号。