引言

粤语作为中国岭南地区及海外华人社区广泛使用的语言，其语音识别（Automatic Speech Recognition, ASR）研究在智能客服、语音交互、教育辅助等领域具有重要应用价值。然而，粤语独特的声调系统、词汇构成及地域变体（如广州话、香港话、澳门话等）使得高质量语料集的构建成为制约ASR性能提升的关键瓶颈。本文围绕“粤语语料集Automatic Speech Recognition Datasets in Cantonese Language”这一主题，精选并评析近年来的核心论文，从数据规模、标注质量、领域覆盖及技术贡献等维度展开分析，为粤语ASR研究提供数据资源参考与技术路径指引。

粤语语料集构建的挑战与需求

挑战分析

1. 声调复杂性：粤语包含9个声调（部分方言变体为6个），声调错误会导致语义完全改变（如“诗si1”与“史si2”）。现有语料集需精准标注声调信息，但标注成本高且易受标注员主观性影响。

2. 词汇多样性：粤语保留大量古汉语词汇（如“啱啱”表示“刚刚”），同时吸收英语、葡萄牙语等外来词（如“士多”源自“store”）。语料集需覆盖传统与现代词汇，避免模型过拟合于特定场景。

3. 地域变体差异：广州话、香港话在词汇（如“冰箱”广州话称“雪柜”）和发音上存在差异，需构建多地域语料库以提升模型泛化能力。

需求导向

1. 大规模标注数据：需满足深度学习模型对数据量的需求（如Transformer架构需百万级样本）。

2. 领域均衡性：覆盖新闻、对话、娱乐、教育等多场景，避免模型在特定领域表现优异但跨领域失效。

3. 公开可用性：提供下载链接及使用许可，降低研究门槛（如LDC、OpenSLR等平台）。

精选论文与语料集评析

论文1：《A Large-Scale Cantonese ASR Dataset with Fine-Grained Tone Annotations》

数据规模与标注

• 规模：包含10万小时录音，覆盖广州、香港、澳门三地发音人，男女比例1:1，年龄分布18-65岁。
• 标注：采用五级标注体系：
  • 基础层：音素级标注（含声调）。
  • 语义层：分词、词性标注。
  • 领域层：标注新闻、对话、讲座等场景。

技术贡献

• 提出声调感知损失函数（Tone-Aware Loss），在模型训练中显式优化声调准确率，实验表明在粤语测试集上声调错误率降低12%。

• 代码示例（PyTorch）：

  class ToneAwareLoss(nn.Module):
    def __init__(self, tone_weight=0.5):
        super().__init__()
        self.tone_weight = tone_weight
        self.ce_loss = nn.CrossEntropyLoss()
    def forward(self, pred_tones, true_tones, pred_chars, true_chars):
        tone_loss = self.ce_loss(pred_tones, true_tones)
        char_loss = self.ce_loss(pred_chars, true_chars)
        return (1 - self.tone_weight) * char_loss + self.tone_weight * tone_loss

适用场景

• 适用于需要高声调准确率的场景（如语音导航、教育评测）。

论文2：《Cantonese Conversational Speech Corpus: Design and Benchmarking》

数据规模与标注

• 规模：5000小时双人对话录音，涵盖家庭、职场、购物等场景。
• 标注：
  • 对话行为标注：区分陈述、疑问、命令等意图。
  • 情感标注：标注中性、高兴、愤怒等情绪。

技术贡献

• 提出对话上下文感知模型（Context-Aware ASR），通过引入前文语境向量提升对话场景识别率，实验表明在对话测试集上词错误率（WER）降低8%。

• 代码示例（TensorFlow）：

  def build_context_model(input_dim, context_dim):
    inputs = tf.keras.Input(shape=(None, input_dim))
    context = tf.keras.Input(shape=(context_dim,))
    # 编码语音特征
    x = tf.keras.layers.LSTM(128, return_sequences=True)(inputs)
    # 融合上下文
    context_proj = tf.keras.layers.Dense(64)(context)
    context_proj = tf.keras.layers.RepeatVector(tf.shape(x)[1])(context_proj)
    x = tf.keras.layers.Concatenate()([x, context_proj])
    # 解码
    outputs = tf.keras.layers.TimeDistributed(tf.keras.layers.Dense(1000, activation='softmax'))(x)
    return tf.keras.Model(inputs=[inputs, context], outputs=outputs)

适用场景

• 适用于智能客服、语音助手等需要理解对话意图的场景。

raging-mandarin-data-via-cross-lingual-transfer-">论文3：《Low-Resource Cantonese ASR: Leveraging Mandarin Data via Cross-Lingual Transfer》

数据规模与标注

• 粤语数据：1000小时标注数据（基础场景）。
• 普通话数据：10万小时标注数据（用于迁移学习）。

技术贡献

• 提出跨语言迁移学习框架，通过共享声学模型参数、微调语言模型，在粤语数据量减少90%的情况下，WER仅上升3%。
• 代码示例（HuggingFace Transformers）：
  ```python
  from transformers import Wav2Vec2ForCTC, Wav2Vec2Processor
  import torch

加载预训练普通话模型

mandarin_model = Wav2Vec2ForCTC.from_pretrained(“facebook/wav2vec2-large-960h-lv60-self”)
processor = Wav2Vec2Processor.from_pretrained(“facebook/wav2vec2-large-960h-lv60-self”)

微调粤语数据

def finetune_cantonese(model, train_loader, epochs=10):
optimizer = torch.optim.Adam(model.parameters(), lr=1e-5)
for epoch in range(epochs):
for batch in train_loader:
inputs = processor(batch[“audio”], return_tensors=”pt”, sampling_rate=16000).input_values
labels = batch[“labels”]
outputs = model(inputs).logits
loss = processor(labels=labels).compute_loss(outputs, labels)
loss.backward()
optimizer.step()
return model
```

适用场景

• 适用于粤语数据稀缺的场景（如小语种地区）。

实践建议

1. 数据选择：根据场景需求选择语料集（如声调敏感场景优先选择论文1的数据集）。
2. 模型优化：结合论文2的上下文感知模型与论文3的迁移学习框架，平衡性能与数据需求。
3. 评估指标：除WER外，需关注声调准确率、领域适配性等指标。

结论

粤语ASR语料集的构建需兼顾声调、词汇、地域等特性。本文评析的论文从数据规模、标注质量、技术贡献等维度提供了系统性解决方案，为粤语ASR研究提供了从基础数据到高级模型的完整路径。未来研究可进一步探索多模态数据（如唇语、手势）与粤语ASR的融合，以提升复杂场景下的识别鲁棒性。