沉浸式音视频技术：视频云的创新探索与实践

沉浸式音视频技术：视频云的创新探索与实践

引言

随着传输技术、显示技术与算力的飞速提升，用户对音视频体验的需求日益增强。沉浸式音视频技术作为提升用户体验的重要手段，正逐渐成为视频云领域的热点。本文将从空间视频与空间音频两大关键技术出发，探讨视频云在这一领域的探索与建设。

空间视频技术

1. 技术背景

人类视觉的空间感主要来源于双眼的视角差。传统的2D视频为双眼提供相同视角的画面，无法提供足够的沉浸感。而空间视频技术通过为双眼分别提供具有视角差的画面，并在设备端通过光学和显示组件投射到对应的眼镜，显著提升观影的沉浸感。

2. 编码技术

目前，空间视频编码技术主要分为两大类：传统的2D编码与苹果在最新产品上使用的MultiView（MV）编码。

• 传统2D编码：将空间视频的左右眼画面在空域内合并为一个2D画面，使用传统的2D视频编解码技术实现内容传输。该方案成本低，但编码压缩率较低，需要较大的传输带宽。
• MV编码：针对左右眼画面之间的数据冗余进行优化，显著提升压缩率。苹果在iPhone 15 Pro和VisionPro上采用的MV-HEVC技术，相比传统2D HEVC编码，有大约20%~30%的压缩率提升。然而，该技术生态尚不成熟，目前仅支持在VisionPro眼镜上实现3D观看。

3. 视频云探索与建设

视频云团队在空间视频技术领域进行了积极探索与建设，主要包括：

• 支持MV-HEVC投稿输入：以支撑iPhone用户的UGC投稿。
• 转码能力建设：实现苹果设备拍摄的MV-HEVC空间视频到Side-by-Side（SBS）空间视频的转码，以支持更广泛的播放设备。
• 转码流程优化：通过识别MP4 BOX、解码raw数据、帧对齐、图像拼接和二次编码等步骤，构建完整的转码流程。

空间音频技术

1. 技术背景

空间音频技术通过模拟真实环境中的声音效果，为用户带来沉浸式的听觉体验。菁彩声（Audio Vivid）是全球首个基于AI技术的三维声标准，由世界超高清产业联盟（UWA联盟）提出，并已成为国家4K超高清电视技术应用实施指南中的空间音频标准。

2. 实现方式

Audio Vivid主要通过以下几种方式实现：

• 基于声道：传统的5.1或7.1声道制作，但无法充分发挥多扬声器系统的潜力。
• 基于声床+对象：声床信号承载基本环境声，对象信号承载单声道音频及其元数据，通过元数据控制声音在三维空间中的位置和属性。
• 基于声场：依托HOA（Higher Order Ambisonics）技术，在球体表面建模声场，实现准确的声音处理和重构。

3. 视频云实践

视频云在空间音频领域也进行了深入实践：

• 接入杜比全景声：早在2020年，视频云就接入了杜比全景声技术，验证了用户对沉浸式音频的需求。
• 建设Audio Vivid处理能力：在云端建设完整的Audio Vivid处理能力，支持Audio Vivid音频的透传和双耳渲染，以满足不同终端设备的播放需求。

应用与未来展望

随着沉浸式音视频技术的不断发展，其在视频内容制作、分发和播放等各个环节的应用将越来越广泛。视频云作为连接内容创作者与用户的桥梁，将继续在沉浸式音视频技术领域进行探索与建设，推动用户体验的不断提升。

结语

沉浸式音视频技术是当前视频云领域的热点之一，其背后的技术原理和应用价值值得深入研究和探讨。本文旨在为非专业读者揭示这一领域的奥秘，并期待更多有志之士加入到这一领域的探索与实践中来。