声效生成与面部情绪识别实操:数据到验证全流程

作者:JC2026.11.18 11:59浏览量:0

简介:本文用开源模型 AudioLDM 生成声效,用 FER2013 数据集训练面部情绪分类器。文中给出数据审查、环境锁定、训练配置、指标验证和故障排查的具体代码与通过标准,读者可按步骤复现两个任务。

一、任务边界与前置确认

本教程包含两个相互独立的任务。

  1. 声效生成:使用预训练的文本到音频模型 AudioLDM,根据英文描述生成脚步声、爆炸声、环境音等素材,并用客观指标与听测结果评估生成质量。微调是可选步骤,本文默认只做推理。
  2. 面部情绪识别:使用 FER2013 数据集训练一个小型卷积神经网络,识别愤怒、厌恶、恐惧、高兴、悲伤、惊讶和中性共 7 类情绪。

开始前请确认三件事。第一,你有一台带 NVIDIA GPU 的机器,并已安装与 CUDA 11.8 兼容的驱动。第二,你具备基础 Python 能力,了解模型训练的前向传播、损失计算和反向传播。第三,你的使用目的符合数据集和模型的许可条款。

二、数据集与模型选型

任务 资源 规格 获取与许可
声效生成 AudioLDM-S(Hugging Face 模型 ID:cvssp/audioldm-s-full-v2) 输入英文文本,输出 16 kHz 单声道音频,默认 5 秒 下载前核对模型卡片中的许可证
声效数据(仅微调时需要) 自建 WAV 文件,每类建议不少于 200 条 统一为 16 kHz、单声道、时长不超过 10 秒 由数据提供方确认授权
情绪识别 FER2013,文件名 fer2013.csv 35,887 张图像,48×48 灰度,7 类情绪 从 Kaggle 下载,遵守其数据条款,仅限研究用途

FER2013 的训练集中,厌恶类只有 547 张,占训练集约 1.9%,远少于高兴类。这一不均衡会直接影响模型表现,步骤 4 会用类别权重处理它。

硬件需求不设固定数字。请在自己的任务上实测显存峰值:在训练或推理结束后,打印 torch.cuda.max_memory_allocated() / 1024**3,单位为 GB。实测值加上 20% 余量,就是你的机器需要的显存下限。

三、环境搭建

推荐使用 Python 3.10。以下版本组合便于复现,你可以根据自己的显卡驱动调整 CUDA 版本,但需保证 PyTorch 与 CUDA 匹配。

  1. python3.10 -m venv .venv
  2. source .venv/bin/activate
  3. pip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 \
  4. --index-url https://download.pytorch.org/whl/cu118
  5. pip install diffusers==0.21.4 transformers==4.35.2 accelerate==0.25.0 \
  6. librosa==0.10.1 soundfile==0.12.1 scipy==1.11.4 \
  7. opencv-python==4.8.1.78 pandas==2.1.4 numpy==1.26.2 \
  8. scikit-learn==1.3.2 matplotlib==3.8.2
  9. pip check
  10. pip freeze > requirements.lock

安装后验证 GPU 是否可用:

  1. python -c "import torch; print(torch.__version__, torch.cuda.is_available(), torch.version.cuda)"

期望输出为 2.1.2+cu118 True 11.8。如果 cuda.is_available() 返回 False,先检查 nvidia-smi 能否正常显示显卡,再检查 PyTorch 安装命令中的 CUDA 版本。如果运行时报 NumPy 2.x 相关的错误,执行 pip install "numpy<2" 后重新运行 pip check。

四、实施步骤

步骤 1:数据审查

先检查数据,再开始训练。下面两段代码分别检查声效文件和情绪数据。

声效文件检查:

  1. import glob
  2. import soundfile as sf
  3. TARGET_SR = 16000
  4. MAX_SECONDS = 10.0
  5. issues = []
  6. for path in glob.glob("sfx/**/*.wav", recursive=True):
  7. info = sf.info(path)
  8. if info.samplerate != TARGET_SR:
  9. issues.append((path, f"采样率 {info.samplerate}"))
  10. if info.channels != 1:
  11. issues.append((path, f"声道数 {info.channels}"))
  12. if info.duration > MAX_SECONDS:
  13. issues.append((path, f"时长 {info.duration:.2f} 秒"))
  14. print(f"不符合要求的文件共 {len(issues)} 个")
  15. for path, reason in issues[:20]:
  16. print(path, reason)

不符合要求的文件可以用 librosa.load(path, sr=16000, mono=True) 读取后重新写回。超过 10 秒的文件应裁剪或删除,不要直接丢给模型。

情绪数据检查:

  1. import pandas as pd
  2. LABELS = {0: "angry", 1: "disgust", 2: "fear", 3: "happy",
  3. 4: "sad", 5: "surprise", 6: "neutral"}
  4. df = pd.read_csv("fer2013.csv")
  5. print(df.shape) # 期望 (35887, 3)
  6. print(df["Usage"].value_counts().to_dict())
  7. assert df.isna().sum().sum() == 0, "存在缺失值"
  8. assert df["pixels"].str.split().map(len).eq(48 * 48).all(), "存在尺寸异常的样本"
  9. shares = df["emotion"].value_counts(normalize=True).sort_index()
  10. for idx, share in shares.items():
  11. flag = " <- 低于 10%,需要加权" if share < 0.10 else ""
  12. print(f"{LABELS[idx]:>9}: {share:.2%}{flag}")

这里的 10% 阈值沿用本教程的既定规则。7 类均匀分布时每类约占 14.3%,因此厌恶类会被标记。

步骤 2:声效生成

AudioLDM-S 首次运行时会从 Hugging Face 下载权重,约需数 GB 空间。以下代码以 fp16 精度生成音频,并固定随机种子,保证结果可复现。

  1. import os
  2. import torch
  3. from scipy.io import wavfile
  4. from diffusers import AudioLDMPipeline
  5. os.makedirs("outputs", exist_ok=True)
  6. pipe = AudioLDMPipeline.from_pretrained(
  7. "cvssp/audioldm-s-full-v2", torch_dtype=torch.float16
  8. ).to("cuda")
  9. prompts = [
  10. "footsteps on wooden stairs",
  11. "distant thunder with light rain",
  12. "glass bottle breaking on concrete",
  13. ]
  14. for i, prompt in enumerate(prompts):
  15. generator = torch.Generator("cuda").manual_seed(42 + i)
  16. audio = pipe(
  17. prompt,
  18. num_inference_steps=20,
  19. audio_length_in_s=5.0,
  20. guidance_scale=2.5,
  21. generator=generator,
  22. ).audios[0]
  23. wavfile.write(f"outputs/{i:02d}.wav", rate=16000, data=audio)
  24. print("已生成", prompt)
  25. print("显存峰值 GB:", torch.cuda.max_memory_allocated() / 1024**3)

提示词建议写成“声源 + 环境 + 动作”的短句,例如 footsteps on wooden stairs。避免写入多个互相冲突的声源。

步骤 3:情绪数据预处理

FER2013 使用 Usage 列区分划分:Training 作为训练集,PublicTest 作为验证集,PrivateTest 作为测试集。

  1. import numpy as np
  2. def to_array(s):
  3. return np.array(s.split(), dtype=np.uint8).reshape(48, 48)
  4. X = np.stack(df["pixels"].map(to_array).to_numpy()) # (N, 48, 48)
  5. y = df["emotion"].to_numpy()
  6. usage = df["Usage"].to_numpy()
  7. train_mask = usage == "Training"
  8. val_mask = usage == "PublicTest"
  9. test_mask = usage == "PrivateTest"
  10. # 检查相同像素串是否同时出现在不同划分中
  11. groups = df.groupby("pixels")["Usage"].nunique()
  12. print("跨划分重复图像组数:", int((groups > 1).sum()))

FER2013 没有身份标签,无法按人划分数据。因此,同一人的照片是否同时出现在训练集和测试集,这一点无法确认。上面的代码只能检查完全相同的图像。如果重复组数不为零,应删除测试集中出现在训练集的那些样本,并在报告中写明这一限制。

步骤 4:训练情绪分类模型

下面的网络有三个卷积块,输入为单通道 48×48 图像。

  1. import torch.nn as nn
  2. class EmotionCNN(nn.Module):
  3. def __init__(self, num_classes=7):
  4. super().__init__()
  5. def block(cin, cout):
  6. return nn.Sequential(
  7. nn.Conv2d(cin, cout, 3, padding=1), nn.BatchNorm2d(cout), nn.ReLU(),
  8. nn.Conv2d(cout, cout, 3, padding=1), nn.BatchNorm2d(cout), nn.ReLU(),
  9. nn.MaxPool2d(2), nn.Dropout(0.25),
  10. )
  11. self.features = nn.Sequential(block(1, 32), block(32, 64), block(64, 128))
  12. self.head = nn.Sequential(
  13. nn.Flatten(), nn.Linear(128 * 6 * 6, 256), nn.ReLU(),
  14. nn.Dropout(0.5), nn.Linear(256, num_classes),
  15. )
  16. def forward(self, x):
  17. return self.head(self.features(x))

训练脚本如下。像素除以 255 归一化到 0 到 1 之间,训练和推理必须使用同样的处理方式。

  1. import os
  2. import numpy as np
  3. import torch
  4. from torch.utils.data import TensorDataset, DataLoader
  5. device = "cuda"
  6. os.makedirs("checkpoints", exist_ok=True)
  7. def to_tensor(arr):
  8. return torch.tensor(arr, dtype=torch.float32).unsqueeze(1) / 255.0
  9. X_train, y_train = to_tensor(X[train_mask]), y[train_mask]
  10. X_val, y_val = to_tensor(X[val_mask]), y[val_mask]
  11. train_loader = DataLoader(
  12. TensorDataset(X_train, torch.tensor(y_train)), batch_size=128, shuffle=True
  13. )
  14. val_loader = DataLoader(
  15. TensorDataset(X_val, torch.tensor(y_val)), batch_size=256
  16. )
  17. # 类别权重:样本越少,权重越大
  18. counts = np.bincount(y_train, minlength=7)
  19. weights = torch.tensor(counts.sum() / (7 * counts), dtype=torch.float32, device=device)
  20. criterion = nn.CrossEntropyLoss(weight=weights, label_smoothing=0.05)
  21. model = EmotionCNN().to(device)
  22. optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4)
  23. scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=0.5, patience=2)
  24. def evaluate(loader):
  25. model.eval()
  26. correct, total = 0, 0
  27. with torch.no_grad():
  28. for xb, yb in loader:
  29. pred = model(xb.to(device)).argmax(1).cpu()
  30. correct += (pred == yb).sum().item()
  31. total += yb.size(0)
  32. return correct / total
  33. best_acc, bad_epochs = 0.0, 0
  34. for epoch in range(60):
  35. model.train()
  36. for xb, yb in train_loader:
  37. xb, yb = xb.to(device), yb.to(device)
  38. loss = criterion(model(xb), yb)
  39. optimizer.zero_grad()
  40. loss.backward()
  41. optimizer.step()
  42. val_acc = evaluate(val_loader)
  43. scheduler.step(val_acc)
  44. print(f"epoch {epoch:02d} val_acc {val_acc:.4f} lr {optimizer.param_groups[0]['lr']:.1e}")
  45. if val_acc > best_acc:
  46. best_acc, bad_epochs = val_acc, 0
  47. torch.save(model.state_dict(), "checkpoints/emotion_best.pt")
  48. else:
  49. bad_epochs += 1
  50. if bad_epochs >= 8:
  51. print("验证集连续 8 轮没有提升,提前停止")
  52. break

早停以验证集准确率为依据,最佳权重保存在 checkpoints/emotion_best.pt。测试集只在最终评估时使用一次,不参与调参。

步骤 5:结果验证

情绪模型在测试集上计算准确率、宏平均 F1 和混淆矩阵。宏平均 F1 对每一类同等看待,适合类别不均衡的数据。

  1. from sklearn.metrics import accuracy_score, f1_score, confusion_matrix, classification_report
  2. X_test, y_test = to_tensor(X[test_mask]), y[test_mask]
  3. test_loader = DataLoader(TensorDataset(X_test, torch.tensor(y_test)), batch_size=256)
  4. model.load_state_dict(torch.load("checkpoints/emotion_best.pt"))
  5. model.eval()
  6. preds = []
  7. with torch.no_grad():
  8. for xb, _ in test_loader:
  9. preds.append(model(xb.to(device)).argmax(1).cpu().numpy())
  10. pred = np.concatenate(preds)
  11. print("准确率:", accuracy_score(y_test, pred))
  12. print("宏平均 F1:", f1_score(y_test, pred, average="macro"))
  13. print(confusion_matrix(y_test, pred, labels=list(LABELS)))
  14. print(classification_report(y_test, pred, target_names=list(LABELS.values())))

生成音频的评估使用 CLAP 模型计算文本与音频的相似度。CLAP 的特征提取器要求 48 kHz 输入,所以先把 16 kHz 音频重采样。

  1. import librosa
  2. import numpy as np
  3. import soundfile as sf
  4. from transformers import ClapModel, ClapProcessor
  5. clap = ClapModel.from_pretrained("laion/clap-htsat-unfused").to("cuda")
  6. clap_proc = ClapProcessor.from_pretrained("laion/clap-htsat-unfused")
  7. audio16, _ = sf.read("outputs/00.wav", dtype="float32")
  8. audio48 = librosa.resample(audio16, orig_sr=16000, target_sr=48000)
  9. inputs = clap_proc(
  10. text=[prompts[0]], audios=[audio48], sampling_rate=48000,
  11. return_tensors="pt", padding=True,
  12. ).to("cuda")
  13. with torch.no_grad():
  14. score = clap(**inputs).logits_per_audio.item()
  15. print("CLAP 相似度:", score)

该分数没有绝对意义,只能与基线比较。基线应为同一批提示词在不同随机种子下的平均分。

下表列出验证标准。其中的数值是本项目的目标值,可以根据你的任务要求调整。

任务 指标 基线 通过标准 未通过时的处理
情绪识别 测试集准确率与宏平均 F1 随机猜测约 14.3%,多数类约 25% 准确率不低于 60%,宏平均 F1 不低于 0.55 检查标签映射、类别权重和学习率,见第五节
声效生成 CLAP 相似度 同一提示词 3 个随机种子的均值 相似度高于基线 增加推理步数,调整 guidance_scale,清洗训练数据
声效生成 听测 MOS(5 分制) 无 至少 3 人打分,均分不低于 3.5 检查是否有底噪、爆音和时长异常

五、常见问题与排查

排查时按以下顺序检查,先排除简单原因。

  1. 训练损失不收敛。先核对 LABELS 与 CSV 中 emotion 列的编码是否一致。再确认输入已除以 255,训练与推理使用相同的预处理。最后把学习率从 1e-3 降到 3e-4 重试。
  2. 显存溢出。训练时把批大小从 128 减半。推理时确认使用了 torch.float16。长音频生成时,减小 audio_length_in_s。
  3. 情绪识别偏向多数类。查看混淆矩阵,重点看恐惧与惊讶之间的误判。确认步骤 4 中的类别权重已生效。对厌恶类样本做水平翻转和小角度旋转,可以增加样本多样性。
  4. 生成音频有明显噪声。把 num_inference_steps 从 20 增加到 50 左右。把 guidance_scale 提高到 3 到 4 之间,并比较结果。如果高频段仍有底噪,用 scipy.signal.butter 设计一个高通滤波器处理输出。
  5. 测试指标虚高。重新运行步骤 3 的重复图检查。如果训练集和测试集存在相同图像,删除测试集中的重复样本后重新评估。

六、上线前检查清单

合规

  • 核对 Kaggle 上 FER2013 的数据条款,确认用途仅限研究,且不公开原始图像。
  • 核对 AudioLDM 模型卡片中的许可证,商用前确认授权范围。
  • 情绪模型只输出情绪标签,不做人脸身份识别。
  • 训练数据中如有真实人脸或录音,部署前完成脱敏,并确认采集授权。

可复现性

  • 保存 requirements.lock,记录 CUDA 版本与显卡型号。
  • 固定随机种子,并把提示词列表、批大小和学习率写入一个配置文件。
  • 对 emotion_best.pt 计算哈希值,与实验记录一起归档。

成本

  • 先用 10 轮训练跑通整条流程,确认数据和代码无误后再跑完整训练。
  • 生成音频时先用 num_inference_steps=20 做筛选,只对入选的提示词使用更多步数。

七、总结

本教程按照数据审查、环境锁定、模型训练和结果验证的顺序,完整说明了声效生成与面部情绪识别两个任务的实施方法。每一步都给出了可以直接运行的代码和判断标准。落地时,先确认数据与代码正确,再进行正式训练,并同时用客观指标和主观听测评估声效结果。如果你希望继续扩展,可以尝试在自有声效数据上微调 AudioLDM,或者把人脸情绪与语音情绪结合成一个多模态模型。