详解苹果Vision Pro音频 独家专稿
2月2日,Apple Vision Pro将正式发售,这是一个会改变世界的科技大事件,在空间音频这个领域,作为国内唯一的声音制作门户网站,同期录音网不会缺席,今天就详细的分解一下没有那么高热度的Vision Pro音频功能。
空间音频是AR、MR、XR实现用户体验的最重要手段之一,对提升观众临场感尤其重要,可能大家注意到了,空间音频也是近几年“电影声音研学中心”的重点研究方向(我们在22、23年曾与Sound Particles合作连载 “了解空间音频”连载系列 ,并进行直播答疑),这是声音人可见的未来,我们已经储备和实践了大量的方法和经验,同时也欢迎相关研究或相关内容的声音制作一起合作,推动国内这个领域的发展。
正如去年苹果发布会上苹果CEO Tim Cook所说:“Vision Pro 是世界第一台空间计算机”,一个数字内容与物质世界的无缝混合,同时允许用户保持本地和连接其他人,而人类对空间的感知就是视觉与听觉,空间音频是空间计算重要而不可分割的一部分。
▲Vision Pro外观图
空间计算包含空间视频与空间音频两个部分,Vision Pro的音频核心是先进的 3D 空间音频系统,初次使用时,一般需使用 iPhone 扫描脸部和耳朵确保精确定制,该系统可根据个人的头部和颈部情况和耳部结构调整声音,设置三维音频,为用户带来多方位的听觉体验,让用户能听到又能感受到,带来无与伦比的听觉沉浸感和位置感体验。
苹果的 Vision Pro 提供非凡的视听体验,通过其独特的空间音频系统,这项技术是基于杜比全景声、杜比数字7.1 或 5.1 信号源的信号,并应用定向滤波器针对个人个性化调整声音的频率,让声音几乎可以放置在 3D 空间的任何地方,这营造了一种类似杜比全景声电影院的体验,所有音频不仅有沉浸感且似乎都来自四面八方,另外,声音与视觉一样,随着用户的头部转向而转动。
苹果表示,Vision Pro中空间音频可以很好的应用在:影视节目、游戏内容、3D空间照片、3D空间视频、视频通话、等,甚至整个系统和UI交互中也充分融合空间音频的能力。
刨析Vision Pro的音频系统,它与传统的外置扬声器的AR/XR眼镜完全不同,Vision Pro 重新定义了音频集成,具有战略性的Vision Pro内置音频模块在每只耳朵上方,有两个放大驱动提供支持,而无需外接佩戴类耳机产品。
▲Vision Pro在耳朵上方的发声装置
但这还不是全部Apple Vision Pro 的音频能力,Vision Pro音频检查控制器的位于右侧边框,在这里,音频处理成为一种艺术形式,该控制器的混音核心将成为用户的声音控制中心,对项目音频进行微调调整音轨电平,播放声源移动,并自定义每个音轨的输出通道。它还具有以下音频功能:自适应降噪、均衡,并支持专业音频插件,产生音乐和声音,融合,重塑创意理念。
▲Vision Pro外观
值得一提的是,想要体验沉浸式三维音频听觉感受及声源位置的移动,只靠耳朵附近的两个音频模块是无法解决的,一个关于声音秘密是,基于屏幕的声音扬声器,它的每一个屏幕显示像素都在振动,这让传统扬声器成为过去(未经证实消息,有人提出这个说法错误)。通过屏幕的这些振动发出令人难以置信无比清晰悦耳动听的声音,另外其纤细的框架内也内置一组微振动扬声器,为无缝的身临其境听觉之旅混合现实的声音感受创造硬件条件。
我们看一下Vision Pro的音频技术指标:
与索尼360和杜比全景声 3D 音频不同,苹果Vision Pro的空间音频与众不同之处在于,在音频元件部分还使用陀螺仪和加速计(有些类似于人类听觉系统)。
对于XR虚拟现实的听觉实现,Vision Pro使用一种称为音频射线跟踪技术“Audio Ray Tracing”,在那里扫描功能和所处的空间”,让声音精确的匹配你所在房间。苹果声称,其核心的三维音频系统使声音仿佛来自用户周围的环境,音频与环境相匹配,Vision Pro的买家将“完全相信声音来自你周围的环境”
▲Vision Pro音频射线跟踪技术
在音频播放,视Pro支持各种各样的音频格式,包括AAC、MP3,苹果无损,FLAC,杜比数字,杜比数字加和杜比Atmos,Vision Pro还支持一个高质量、低等待时间的连接AirPods Pro(第2代)通过H2H2延迟超低的技术,确保灵活性,对用户有不同的偏好。
Vision Pro同时也是一个三维拍摄设备,对于声音的拾取,Vision Pro包含六个麦克风阵列,提供向波束形成,使它能够明确和集中的声音捕捉录制,提高语音识别和总体声音品质。
苹果 Vision Pro 的音频系统是否会损害你的耳朵?Apple Vision Pro 将听觉安全放在首位,音频系统设计周到,创新技术可动态调整输出,可仔细分析和微调音频输出,防止可能损害听力的意外音量峰值,采用智能监控技术,符合行业音质标准,保护耳朵免受伤害,音量上限为 100 分贝,这类似于现场音乐会或地铁噪音,确保了内容愉悦的聆听体验。
无论白天还是黑夜,用户有权管理自己的音频环境,在娱乐的同时保护耳朵。
▲Vision Pro技术
随着Vision Pro的上市,有哪些空间音频相关内容一起发布?
▲Vision Pro内容界面
《Prehistoric Planet Immersive 史前地球沉浸版》 ,这是一部受 Jon Favreau 的 Apple 原创系列Prehistoric Planet启发的全新短片和娱乐体验,将带领观众穿越到 7000 万年前。
“自从苹果向我介绍了这项新技术以来,我一直对使用这些创新的沉浸式工具探索讲故事的机会很感兴趣,”执行制片人和电影制片人乔恩·费儒 (Jon Favreau) 说道。“我特别自豪能够参与这款突破性产品的发布。”
▲Vision Pro
《Adventure 大冒险》是一个新系列,将用户带到地球上最偏远的地方,与极限运动员一起接受挑战,例如与职业选手 Faith Dickey 一起进行高空滑索。
Apple Vision Pro 用户还可以观看短片《Alicia Keys:排练室》 ,一睹格莱美奖得主的创作过程;《Wild Life 野生生活》,让观众近距离接触地球上一些最具魅力的生物。
▲Vision Pro《沙丘》等内容
Apple Vision Pro 用户还可以通过 Apple TV+ 观看 Apple Originals等众多沉浸声内容,包括《花月杀手》和《STILL: A Michael J. Fox Movie》。
▲Vision Pro虚拟菜单
Apple 日前宣布,Vision Pro内容是通过 Apple Immersive Video 制作的,并将在 Apple Vision Pro 上的 Apple TV 应用程序推出时提供。
Apple Immersive Video 是一种新的娱乐格式,Apple 表示,在音频部分,它可以通过 Spatial Audio 捕获的 180 度 3D 录音将观众带入故事的中心。
希望通过这么一篇文章,大家能够了解苹果Vision Pro的音频系统、功能和技术,空间音频是空间计算体系的一部分,未来必将改变我们的工作和生活。