简介：本文介绍了MLCA-AVSR技术，一种基于多层交叉注意力机制的视听语音识别方案，该技术通过高效融合音视频信息，显著提升了复杂声学环境下的语音识别性能，为语音识别领域带来了新突破。
随着人工智能技术的飞速发展，语音识别（ASR）系统已经在许多场景下达到了与人类相媲美的水平。然而，在复杂声学环境或远场拾音场景中，如多人会议，ASR系统的性能往往会受到背景噪音、混响和多人说话重叠的干扰，导致识别准确率大幅下降。为了克服这一难题，研究人员开始探索将视觉信息引入ASR中，从而诞生了视听语音识别（AVSR）技术。
视听语音识别（Audio-visual speech recognition, AVSR）是指结合音频和视频信息对语音进行识别的技术。该技术通过同时利用音频和视频中的信息，能够在复杂声学环境中提高语音识别的鲁棒性。然而，如何高效地融合音视频信息一直是AVSR领域的研究热点。
近期，西工大音频语音与语言处理研究组（ASLP@NPU）与理想汽车合作，提出了一种基于多层交叉注意力机制的视听语音识别方案——MLCA-AVSR（Multi-Layer Cross Attention Fusion based Audio-Visual Speech Recognition）。该方案被语音研究顶级会议ICASSP2024接收，标志着AVSR技术迈出了重要的一步。
在AVSR模型中，音视频信息的融合策略至关重要。目前主流的融合方法主要有两种：早融合（early fusion）和晚融合（late fusion）。早融合强调在数据层面尽早融合音视频信息，而晚融合则是在建模后的特征层面进行融合。MLCA-AVSR则提出了一种新的融合策略——中融合（middle fusion），即在音频和视频编码器的不同层中植入交叉注意力模块，实现建模音视频信息的同时进行模态融合。
MLCA-AVSR的核心在于交叉注意力模块。该模块能够在编码器的不同层中捕捉音视频特征之间的对齐和互补信息，从而实现更高效的融合。通过在编码器不同层进行音视频特征融合，MLCA-AVSR实现了从粗粒度建模特征到细粒度特征的过渡，一个模态能够从另一模态中学习建模时的上下文信息并对自身进行补充。
MLCA-AVSR系统主要包括四个部分：音频和视觉前端、音频和视觉编码器、融合模块和解码器。音频前端采用2层卷积下采样网络，视频前端采用ResNet3D网络。音频和视觉编码器则采用最近提出的E-Branchformer模型。在编码器的不同层中，植入了交叉注意力模块以实现音视频信息的融合。
为了验证MLCA-AVSR方案的有效性，研究团队在MISP2022-AVSR数据集上进行了实验。该数据集由34个装有电视的家庭房间中的远/中/近麦克风和远/中摄像机收集而成，包含141小时的音视频数据。实验结果表明，MLCA-AVSR方案在MISP2022-AVSR数据集上的效果超过了MISP2022挑战赛AVSR赛道的第一名，取得了新的最好结果。
MLCA-AVSR技术的提出，为复杂声学环境下的语音识别提供了新的解决方案。该技术可以广泛应用于多人会议、智能家居、远程医疗等场景，提高语音识别的准确性和鲁棒性。同时，随着技术的不断发展和完善，MLCA-AVSR有望在更多领域发挥重要作用。
MLCA-AVSR作为一种基于多层交叉注意力机制的视听语音识别方案，通过高效融合音视频信息，显著提升了复杂声学环境下的语音识别性能。该技术的提出不仅为AVSR领域带来了新的突破，也为语音识别技术的广泛应用提供了有力支持。未来，随着技术的不断发展和完善，我们有理由相信MLCA-AVSR将在更多领域展现出其巨大的潜力和价值。