抖音三维声技术助力总台央视春晚演绎沉浸式听觉盛宴

　　兔圆圆兔年庆新春，喜盈盈喜气铸菁彩。2023中央广播电视总台春节联欢晚会令人回味，高清的画质、沉浸式的听觉带给观众极致的体验，这得益于我国自主知识产权的技术发展。2023年总台央视春节联欢晚会使用三维＂菁彩声＂ （Audio Vivid）技术进行节目制作和现场直播，让观众们通过＂百城千屏＂+云听、央视频等平台能够置身于这场视觉与听觉盛宴之中。
　　此次春晚使用的三维＂菁彩声＂是我国自主知识产权的空间音频技术标准，火山引擎智能创作语音团队（SAMI）作为技术贡献方深度参与了三维＂菁彩声＂标准的制定和研发，贡献并开源了一套完整的元数据 和双耳渲染系统 ，形成8项技术专利。
　　三维声的双耳渲染示意图
　　三维声相比传统的立体声拥有更好的空间呈现效果，能精准地再现每个声源的位置和所处环境的空间信息。三维声带来的沉浸式体验已经在影视、音乐等场景有广泛的应用，例如常见的全景声、环绕声 等技术都是利用多个外接音箱来实现三维声回放，但是需要复杂的回放环境，这对普通用户来说并不容易。双耳渲染技术的成熟将三维声带给了每一位观众，利用普通耳机就可以感受到身临其境的震撼效果。三维声相比传统立体声有以下三点优势。
　　一、舞台临场感点燃三维视界
　　舞台是整个节目现场的焦点区域，对于声乐、语言类节目，使用三维声能够更真实地还原现场表演效果。当演员们处于舞台的不同位置表演时，声音的方向感会随着演员的位置不同而发生改变，背景音和人声变得更有层次感。例如舞台左边演员的声音听起来是从左边传来的，观众的听感具备三维效果，使得舞台临场感拉满，观看体验更进一步。
　　二、观众席效果画龙点睛
　　观众席画面往往是晚会现场的点睛之处，美妙的演出离不开观众的烘托。当听到的掌声与呐喊声跟随摄像机画面移动时，屏幕前的观众仿佛已身在晚会现场的中心，清晰的掌声让人感受真正的身临其境。
　　三、沉浸感升华观看体验
　　在节目中鸟叫的声音应该从天上来，传统立体声无法很好的还原天空音效，而三维声则能可以还原这些声音的细节和节目效果，营造更为沉浸的现场环境。同时三维声能捕捉一些现场环境的弱混响，使节目的整体听感提升，为观众提供被包围在春晚现场中心位置般的最佳听觉体验。
　　三维声制作软件ASphere同样由火山引擎智能创作语音团队设计研发，该软件集三维声制作、监听于一体 ，具备头部姿态跟随功能，顺利保障了此次晚会的三维声节目制作，ASphere部分功能如下图所示：
　　ASphere三维声制作软件渲染组件图
　　火山引擎智能创作语音团队致力于打造国内领先的三维声回放技术，以满足直播、互动等场景低延迟、低功耗、高沉浸且统一的音频渲染要求。三维声双耳渲染引擎通过一系列自主研发的沉浸式渲染算法，对三维声场进行精细重构，并对双耳声还原模式做了一系列效果和性能优化，能够满足大多数场景的需求。最后，期待三维菁彩声在影视、音乐、XR等更多领域发挥作用，建设良好的三维声生态，丰富沉浸式音视频内容体验。
　　点击：申请试用-火山引擎，了解相关技术。