新人课堂:HRTF是什么?为什么VR声音需要HRTF
独家编写,参考网络资源,包括但不限于:维基,Ossic等,作者:猴子
HRTF是头部相关传输函数的英文简称(英文全称为Head Related Transfer Functions,缩写:HRTF),它是一种声音定位算法。是表征人耳如何从空间中的声源点接收声音。又称为ATF(anatomical transfer function)。
人类只有两个耳朵,但可以在三维空间中定位 – 范围(距离),上下前后方向,以及任意一侧。这是可能的,因为通过大脑,内耳和外耳(耳廓)一起工作来推断位置。这种将声源本地化的能力可能在人类和祖先中已经发展成为一种进化的必要性,因为眼睛只能看到观看者周围的世界的一小部分,并且视觉在黑暗中受到阻碍,而听觉不受光线的影响,声源本地化的能力则以不同的精度在所有的方向起作用。
当听者听到声音时,头部,耳朵,耳道的尺寸和形状,头部的密度,鼻腔和口腔的大小和形状,以及提高一些频率并衰减其他频率都会改变声音并影响它的感知。一般来说,HRTF的频率从2 – 5 kHz增加到2700 Hz,主要的共振频率为+17 dB。但是响应曲线比单一的碰撞曲线更复杂,影响的频谱范围很宽,并且因人而异。
每个人都有自己独特的HRTF – 可以将HRTF视为您的听音指纹。
为了确定声音的方向,HRTF可以分为三个主要部分:
-
每只耳朵的声音到达时间差(Interaural Time Differences)
-
每只耳朵的声音水平差异(Interaural Level Differences)
-
与人体解剖学相互作用的光谱线索
HRTF/双耳时间差异(ITD)
当一个声音接近并到达听众时,到听众的每个耳朵的路径不同。根据每个耳朵到声源的距离,声音可能不得不经历不同的时间/距离长度,并且因此在稍微不同的时间到达每只耳朵。声音在每只耳朵到达时间的差异是确定声源方向的重要线索。
想象一下你的右边45度的狗吠叫你。从狗嘴里传出来的声波最终会到达你的左右耳朵,并进入你的耳膜。在这种情况下,由于狗的嘴巴(声源)距离左耳更远,因此狗叫需要更长的时间才能到左耳。当然你不会有意识地感觉到你的右耳和左耳之间的这种延迟,但这是你的大脑用来定位声音的一个重要因素。
HRTF/双耳响度差异(ILD):
我们的大脑非常擅长选择每只耳朵之间的声音响度差异。多数情况下,这些差异是由于在两只耳朵之间的东西 – 你的头决定。您的头将阻止声波中的不同频率传播到距离声源较远的任何耳朵。这种现象被称为声影(在这种情况下是头影)。
让我们来想象一下,那只狗正以45度的角度向我们的右面吠叫。
声音将会直接通过空气传播到您的右耳朵,但向左耳朵传播的声音必须通过头部和绕过头部才能到达左耳朵。你的头在左耳的声音通路将影响到左耳的声音。且这种声学遮蔽对较高频率比较低频率有更多影响。
ITD/ILD的问题
到达时间和响度的差异是如何定位声音的关键,但不足以准确地确定所有声音来自哪里。想象一下狗叫在你的右边,在你前面几米的地方吠叫对比在你后面几米的地方吠叫。叫声的到达时间和响度差异在两种情况下都是相同的,因为她在两种情况下都是相同的距离(所以ITD和ILD是相同的)。狗的吠叫角度也相同,这意味着声音的ITD和ILD几乎一样。
HRTF/解刨频谱
当一个声波接近你时,它会在进入你的耳道之前与你的身体相互作用。最值得注意的是,你的外耳耳廓,头部(这对你的ITD / ILD和躯干有影响)。所有这些元素根据声源位置(我们通常称为这些频谱线索)都会影响进入每个耳朵的声音频率分布。这些频谱线索对于定位声音非常重要,特别是当声音来自时间和响度差异本身并不能提供足够的位置信息时。
个性化
每个人都有自己的HRTF,并且听到了独特的世界。将个性化的HRTF整合到音频播放硬件中对于现实和身临其境的体验至关重要。在任何记录或处理中使用的HRTF,越接近个人HRTF,听众的定位能力就越好,空间感就越准确,这需要一个定制步骤和可以自定义数据的技术,HRTF成功与否的关键也在这里,像微软这样大的公司也在收集建立庞大的HRTF模型库。
请看演示,需要带耳机
上面的演示中,当使用通用双耳音频而不是传统立体声输出时,听众能够更准确地定位声音。但是,您可能已经注意到,即使在更准确的通用双耳模式,前后的声音几乎没有区别,但左右声音相当准确。这是因为通用双耳音频没有考虑到你自己的耳朵接收声音的方式。要体验完全身临其境,准确的音频,必须考虑个人HRTF校准,否则听众无法完美地定位音频。
尾声/VR与HRTF
通过探索HRTF意味着什么,我们已经知道了人类的大脑如何计算出声音的位置 – 对于所有可能的位置,都可以。双耳时差,双耳响度差和频谱线索是定位声音的关键,每个人都有独特的HRTF,您听到世界的方式由HRTF定义。
上看说的都是HRTF的原理,HRTF对VR声音有绝对意义,声音的VR体验就在于真实还原现场空间声音的情况,且VR 3D声音播放还原最简单低成本的渠道就是通过耳机来实现。
也请访问我们的网站,国内目前唯一个关注VR声音的专题频道。点击查看往期相关文章:
奥斯卡特别奖VR作品《Carne y Arena》 |谷歌I-O技术大会关于VR声音体验的演讲(1 2 3 4) | 资深混音师Korey Pereira谈VR声音制作 | Google推出新的音频工具包来帮助VR声音设计 | 新人课堂:使用森海Ambeo和ZOOM F4录制VR声音 | 森海塞尔Ambeo VR MIC(视频)| RØDE 新产品发布 第一款机头环绕话筒 | RODE并购环绕声录音品牌SoundField | 新手分享:VR/3D声音流程介绍 | ORTF录制方式及设备浅析 | VR杜比全景声与保罗·麦卡特尼新唱片 |
推荐阅读:点击下方图片即可阅读
拉片 | 2017优秀声音电影及奥斯卡预测
经验 | 资深女性同期录音师Shawn Holden访谈 上 | 下