简介:本文用开源模型 AudioLDM 生成声效,用 FER2013 数据集训练面部情绪分类器。文中给出数据审查、环境锁定、训练配置、指标验证和故障排查的具体代码与通过标准,读者可按步骤复现两个任务。
本教程包含两个相互独立的任务。
开始前请确认三件事。第一,你有一台带 NVIDIA GPU 的机器,并已安装与 CUDA 11.8 兼容的驱动。第二,你具备基础 Python 能力,了解模型训练的前向传播、损失计算和反向传播。第三,你的使用目的符合数据集和模型的许可条款。
| 任务 | 资源 | 规格 | 获取与许可 |
|---|---|---|---|
| 声效生成 | AudioLDM-S(Hugging Face 模型 ID:cvssp/audioldm-s-full-v2) |
输入英文文本,输出 16 kHz 单声道音频,默认 5 秒 | 下载前核对模型卡片中的许可证 |
| 声效数据(仅微调时需要) | 自建 WAV 文件,每类建议不少于 200 条 | 统一为 16 kHz、单声道、时长不超过 10 秒 | 由数据提供方确认授权 |
| 情绪识别 | FER2013,文件名 fer2013.csv |
35,887 张图像,48×48 灰度,7 类情绪 | 从 Kaggle 下载,遵守其数据条款,仅限研究用途 |
FER2013 的训练集中,厌恶类只有 547 张,占训练集约 1.9%,远少于高兴类。这一不均衡会直接影响模型表现,步骤 4 会用类别权重处理它。
硬件需求不设固定数字。请在自己的任务上实测显存峰值:在训练或推理结束后,打印 torch.cuda.max_memory_allocated() / 1024**3,单位为 GB。实测值加上 20% 余量,就是你的机器需要的显存下限。
推荐使用 Python 3.10。以下版本组合便于复现,你可以根据自己的显卡驱动调整 CUDA 版本,但需保证 PyTorch 与 CUDA 匹配。
python3.10 -m venv .venvsource .venv/bin/activatepip install torch==2.1.2 torchvision==0.16.2 torchaudio==2.1.2 \--index-url https://download.pytorch.org/whl/cu118pip install diffusers==0.21.4 transformers==4.35.2 accelerate==0.25.0 \librosa==0.10.1 soundfile==0.12.1 scipy==1.11.4 \opencv-python==4.8.1.78 pandas==2.1.4 numpy==1.26.2 \scikit-learn==1.3.2 matplotlib==3.8.2pip checkpip freeze > requirements.lock
安装后验证 GPU 是否可用:
python -c "import torch; print(torch.__version__, torch.cuda.is_available(), torch.version.cuda)"
期望输出为 2.1.2+cu118 True 11.8。如果 cuda.is_available() 返回 False,先检查 nvidia-smi 能否正常显示显卡,再检查 PyTorch 安装命令中的 CUDA 版本。如果运行时报 NumPy 2.x 相关的错误,执行 pip install "numpy<2" 后重新运行 pip check。
先检查数据,再开始训练。下面两段代码分别检查声效文件和情绪数据。
声效文件检查:
import globimport soundfile as sfTARGET_SR = 16000MAX_SECONDS = 10.0issues = []for path in glob.glob("sfx/**/*.wav", recursive=True):info = sf.info(path)if info.samplerate != TARGET_SR:issues.append((path, f"采样率 {info.samplerate}"))if info.channels != 1:issues.append((path, f"声道数 {info.channels}"))if info.duration > MAX_SECONDS:issues.append((path, f"时长 {info.duration:.2f} 秒"))print(f"不符合要求的文件共 {len(issues)} 个")for path, reason in issues[:20]:print(path, reason)
不符合要求的文件可以用 librosa.load(path, sr=16000, mono=True) 读取后重新写回。超过 10 秒的文件应裁剪或删除,不要直接丢给模型。
情绪数据检查:
import pandas as pdLABELS = {0: "angry", 1: "disgust", 2: "fear", 3: "happy",4: "sad", 5: "surprise", 6: "neutral"}df = pd.read_csv("fer2013.csv")print(df.shape) # 期望 (35887, 3)print(df["Usage"].value_counts().to_dict())assert df.isna().sum().sum() == 0, "存在缺失值"assert df["pixels"].str.split().map(len).eq(48 * 48).all(), "存在尺寸异常的样本"shares = df["emotion"].value_counts(normalize=True).sort_index()for idx, share in shares.items():flag = " <- 低于 10%,需要加权" if share < 0.10 else ""print(f"{LABELS[idx]:>9}: {share:.2%}{flag}")
这里的 10% 阈值沿用本教程的既定规则。7 类均匀分布时每类约占 14.3%,因此厌恶类会被标记。
AudioLDM-S 首次运行时会从 Hugging Face 下载权重,约需数 GB 空间。以下代码以 fp16 精度生成音频,并固定随机种子,保证结果可复现。
import osimport torchfrom scipy.io import wavfilefrom diffusers import AudioLDMPipelineos.makedirs("outputs", exist_ok=True)pipe = AudioLDMPipeline.from_pretrained("cvssp/audioldm-s-full-v2", torch_dtype=torch.float16).to("cuda")prompts = ["footsteps on wooden stairs","distant thunder with light rain","glass bottle breaking on concrete",]for i, prompt in enumerate(prompts):generator = torch.Generator("cuda").manual_seed(42 + i)audio = pipe(prompt,num_inference_steps=20,audio_length_in_s=5.0,guidance_scale=2.5,generator=generator,).audios[0]wavfile.write(f"outputs/{i:02d}.wav", rate=16000, data=audio)print("已生成", prompt)print("显存峰值 GB:", torch.cuda.max_memory_allocated() / 1024**3)
提示词建议写成“声源 + 环境 + 动作”的短句,例如 footsteps on wooden stairs。避免写入多个互相冲突的声源。
FER2013 使用 Usage 列区分划分:Training 作为训练集,PublicTest 作为验证集,PrivateTest 作为测试集。
import numpy as npdef to_array(s):return np.array(s.split(), dtype=np.uint8).reshape(48, 48)X = np.stack(df["pixels"].map(to_array).to_numpy()) # (N, 48, 48)y = df["emotion"].to_numpy()usage = df["Usage"].to_numpy()train_mask = usage == "Training"val_mask = usage == "PublicTest"test_mask = usage == "PrivateTest"# 检查相同像素串是否同时出现在不同划分中groups = df.groupby("pixels")["Usage"].nunique()print("跨划分重复图像组数:", int((groups > 1).sum()))
FER2013 没有身份标签,无法按人划分数据。因此,同一人的照片是否同时出现在训练集和测试集,这一点无法确认。上面的代码只能检查完全相同的图像。如果重复组数不为零,应删除测试集中出现在训练集的那些样本,并在报告中写明这一限制。
下面的网络有三个卷积块,输入为单通道 48×48 图像。
import torch.nn as nnclass EmotionCNN(nn.Module):def __init__(self, num_classes=7):super().__init__()def block(cin, cout):return nn.Sequential(nn.Conv2d(cin, cout, 3, padding=1), nn.BatchNorm2d(cout), nn.ReLU(),nn.Conv2d(cout, cout, 3, padding=1), nn.BatchNorm2d(cout), nn.ReLU(),nn.MaxPool2d(2), nn.Dropout(0.25),)self.features = nn.Sequential(block(1, 32), block(32, 64), block(64, 128))self.head = nn.Sequential(nn.Flatten(), nn.Linear(128 * 6 * 6, 256), nn.ReLU(),nn.Dropout(0.5), nn.Linear(256, num_classes),)def forward(self, x):return self.head(self.features(x))
训练脚本如下。像素除以 255 归一化到 0 到 1 之间,训练和推理必须使用同样的处理方式。
import osimport numpy as npimport torchfrom torch.utils.data import TensorDataset, DataLoaderdevice = "cuda"os.makedirs("checkpoints", exist_ok=True)def to_tensor(arr):return torch.tensor(arr, dtype=torch.float32).unsqueeze(1) / 255.0X_train, y_train = to_tensor(X[train_mask]), y[train_mask]X_val, y_val = to_tensor(X[val_mask]), y[val_mask]train_loader = DataLoader(TensorDataset(X_train, torch.tensor(y_train)), batch_size=128, shuffle=True)val_loader = DataLoader(TensorDataset(X_val, torch.tensor(y_val)), batch_size=256)# 类别权重:样本越少,权重越大counts = np.bincount(y_train, minlength=7)weights = torch.tensor(counts.sum() / (7 * counts), dtype=torch.float32, device=device)criterion = nn.CrossEntropyLoss(weight=weights, label_smoothing=0.05)model = EmotionCNN().to(device)optimizer = torch.optim.AdamW(model.parameters(), lr=1e-3, weight_decay=1e-4)scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, factor=0.5, patience=2)def evaluate(loader):model.eval()correct, total = 0, 0with torch.no_grad():for xb, yb in loader:pred = model(xb.to(device)).argmax(1).cpu()correct += (pred == yb).sum().item()total += yb.size(0)return correct / totalbest_acc, bad_epochs = 0.0, 0for epoch in range(60):model.train()for xb, yb in train_loader:xb, yb = xb.to(device), yb.to(device)loss = criterion(model(xb), yb)optimizer.zero_grad()loss.backward()optimizer.step()val_acc = evaluate(val_loader)scheduler.step(val_acc)print(f"epoch {epoch:02d} val_acc {val_acc:.4f} lr {optimizer.param_groups[0]['lr']:.1e}")if val_acc > best_acc:best_acc, bad_epochs = val_acc, 0torch.save(model.state_dict(), "checkpoints/emotion_best.pt")else:bad_epochs += 1if bad_epochs >= 8:print("验证集连续 8 轮没有提升,提前停止")break
早停以验证集准确率为依据,最佳权重保存在 checkpoints/emotion_best.pt。测试集只在最终评估时使用一次,不参与调参。
情绪模型在测试集上计算准确率、宏平均 F1 和混淆矩阵。宏平均 F1 对每一类同等看待,适合类别不均衡的数据。
from sklearn.metrics import accuracy_score, f1_score, confusion_matrix, classification_reportX_test, y_test = to_tensor(X[test_mask]), y[test_mask]test_loader = DataLoader(TensorDataset(X_test, torch.tensor(y_test)), batch_size=256)model.load_state_dict(torch.load("checkpoints/emotion_best.pt"))model.eval()preds = []with torch.no_grad():for xb, _ in test_loader:preds.append(model(xb.to(device)).argmax(1).cpu().numpy())pred = np.concatenate(preds)print("准确率:", accuracy_score(y_test, pred))print("宏平均 F1:", f1_score(y_test, pred, average="macro"))print(confusion_matrix(y_test, pred, labels=list(LABELS)))print(classification_report(y_test, pred, target_names=list(LABELS.values())))
生成音频的评估使用 CLAP 模型计算文本与音频的相似度。CLAP 的特征提取器要求 48 kHz 输入,所以先把 16 kHz 音频重采样。
import librosaimport numpy as npimport soundfile as sffrom transformers import ClapModel, ClapProcessorclap = ClapModel.from_pretrained("laion/clap-htsat-unfused").to("cuda")clap_proc = ClapProcessor.from_pretrained("laion/clap-htsat-unfused")audio16, _ = sf.read("outputs/00.wav", dtype="float32")audio48 = librosa.resample(audio16, orig_sr=16000, target_sr=48000)inputs = clap_proc(text=[prompts[0]], audios=[audio48], sampling_rate=48000,return_tensors="pt", padding=True,).to("cuda")with torch.no_grad():score = clap(**inputs).logits_per_audio.item()print("CLAP 相似度:", score)
该分数没有绝对意义,只能与基线比较。基线应为同一批提示词在不同随机种子下的平均分。
下表列出验证标准。其中的数值是本项目的目标值,可以根据你的任务要求调整。
| 任务 | 指标 | 基线 | 通过标准 | 未通过时的处理 |
|---|---|---|---|---|
| 情绪识别 | 测试集准确率与宏平均 F1 | 随机猜测约 14.3%,多数类约 25% | 准确率不低于 60%,宏平均 F1 不低于 0.55 | 检查标签映射、类别权重和学习率,见第五节 |
| 声效生成 | CLAP 相似度 | 同一提示词 3 个随机种子的均值 | 相似度高于基线 | 增加推理步数,调整 guidance_scale,清洗训练数据 |
| 声效生成 | 听测 MOS(5 分制) | 无 | 至少 3 人打分,均分不低于 3.5 | 检查是否有底噪、爆音和时长异常 |
排查时按以下顺序检查,先排除简单原因。
LABELS 与 CSV 中 emotion 列的编码是否一致。再确认输入已除以 255,训练与推理使用相同的预处理。最后把学习率从 1e-3 降到 3e-4 重试。torch.float16。长音频生成时,减小 audio_length_in_s。num_inference_steps 从 20 增加到 50 左右。把 guidance_scale 提高到 3 到 4 之间,并比较结果。如果高频段仍有底噪,用 scipy.signal.butter 设计一个高通滤波器处理输出。合规
可复现性
requirements.lock,记录 CUDA 版本与显卡型号。emotion_best.pt 计算哈希值,与实验记录一起归档。成本
num_inference_steps=20 做筛选,只对入选的提示词使用更多步数。本教程按照数据审查、环境锁定、模型训练和结果验证的顺序,完整说明了声效生成与面部情绪识别两个任务的实施方法。每一步都给出了可以直接运行的代码和判断标准。落地时,先确认数据与代码正确,再进行正式训练,并同时用客观指标和主观听测评估声效结果。如果你希望继续扩展,可以尝试在自有声效数据上微调 AudioLDM,或者把人脸情绪与语音情绪结合成一个多模态模型。