简介:本教程面向开发者梳理早期TTS两阶段范式,聚焦文本到梅尔频谱建模,讲解STFT、LPC/CELP思想、对齐机制、自回归与非自回归方案、数据准备、训练验证与排查优化,并给出学习路径建议,帮助读者建立可复现的工程认知。
本教程要帮助读者完成一个明确目标:理解早期TTS系统为何采用“两阶段”架构,并掌握“文本到梅尔频谱”这一阶段的建模思路、数据准备、对齐机制、训练验证与常见问题排查方法。学完后,读者应能画出一套可实施的文本到频谱训练流程,理解自回归对齐与非自回归时长建模的差异,并能判断训练中的对齐异常、重复读字、漏读、时长偏差等问题该从何处排查。
适合阅读的人群包括:具备基础编程能力的开发者、正在入门语音算法的学生、需要评估TTS方案的技术负责人,以及希望补齐TTS工程认知的后端或算法工程师。读者不需要一开始就掌握复杂声学模型,但应了解采样率、分帧、傅里叶变换、梅尔刻度等基础概念。
需要先说明边界:本教程只讨论“文本到梅尔频谱”的第一阶段。将梅尔频谱转换为波形的声码器属于第二阶段,会在后续内容中单独展开。早期研究普遍认为,直接从文本预测高采样率波形非常困难,因为波形维度高、相位与高频细节复杂;而梅尔频谱维度较低、结构更平滑,更适合作为中间表示。因此两阶段方案成为早期TTS的主流工程路径。
适用场景包括:学习TTS发展历史与核心思想、复现早期文本到频谱流程、为现代TTS方案打基础、设计对齐质量监控指标、评估数据清洗对合成效果的影响。它不适合直接作为生产级高自然度方案,但非常适合建立工程直觉。
前置准备建议从四方面展开:
先画出流程:文本前端 → 文本编码 → 声学模型 → 梅尔频谱 → 声码器 → 波形。本教程只负责中间“文本到梅尔频谱”。这样拆分的原因是:梅尔频谱压缩了频带与动态范围,去掉了波形相位细节,模型更容易学习;声码器则专门负责相位重建与波形生成,二者可独立迭代。
验证方式:能用一句话说明输入输出。输入是规范化文本序列,输出是帧级梅尔频谱矩阵,行对应梅尔频带,列对应时间帧。若流程中混入波形直接预测,说明任务边界没有划清。
数据质量决定对齐上限。建议先做音频重采样、响度归一、静音裁剪、转写清洗;再做文本规范化,例如数字、符号、缩写展开;最后建立词表或音素集。若采用音素建模,需要词典或字素到音素的转换流程;若采用字符建模,则词表更简单但序列更长。
这一步的作用是让文本长度与音频帧长度形成稳定映射。注意:不要混用不同采样率或不同帧移的数据,否则梅尔帧率不一致,后续时长标签会失真。
梅尔频谱的通用计算流程为:分帧、加窗、FFT、取幅度谱、梅尔滤波器组加权、对数压缩。伪代码如下:
frames = split(signal, frame_length, hop_length)windowed = frames * windowspectrum = fft(windowed)power = abs(spectrum)^2mel = mel_filterbank @ powerlogmel = log(mel + eps)
帧长常见为20~40毫秒,帧移常见为10毫秒左右;梅尔维数常见为80或128。帧长越大频率分辨率越高但时间分辨率下降;帧移越小时间粒度越细但序列更长。配置风险是训练与推理特征不一致,必须固定同一套参数。
LPC与CELP虽然通常不直接作为TTS前端特征,但其思想很重要:LPC用线性预测建模声道共振,把语音表示为预测系数与残差;CELP进一步用码本表示激励。它们提醒我们,语音可拆成“声道包络”和“激励”两部分。理解这一点有助于后续理解声码器、特征解耦和频谱包络建模。
验证方式:可视化梅尔频谱,检查语音段与静音段是否合理;用一致参数做一次特征逆变换或传统重建听测,确认流程没有维度错位。
文本经过嵌入层和编码器得到隐藏序列。早期方案分两类:一类是自回归序列到序列模型,逐帧预测频谱,并通过注意力机制动态决定当前读到哪里;另一类是非自回归前馈模型,先预测每个文本单元对应多少帧,再把文本表示展开到帧级,一次性预测整段频谱。
自回归的优点是建模灵活,缺点是推理逐步进行、容易出现重复或漏读;非自回归的优点是并行快、时长可控,缺点是对时长预测器依赖强。选择时要把“对齐可控性”和“推理效率”作为核心权衡。
对齐是本阶段的核心难题:模型必须知道当前文本单元对应音频时间轴的哪个位置。自回归方案常用注意力对齐,训练时监控对齐矩阵是否呈近似单调对角线;非自回归方案常通过强制对齐、人工时长标签或联合训练时长预测器获得每个音素的帧数。
伪代码示意:
# 自回归思路for t in range(target_frames):context = attention(encoder_states, previous_states)frame = decoder(context, previous_frame)loss += spectral_loss(frame, target_frame[t])# 非自回归思路duration = duration_predictor(encoder_states)expanded = expand_by_duration(encoder_states, duration)mel = decoder(expanded)loss = spectral_loss(mel, target_mel) + duration_loss(duration, target_duration)
配置时需关注对齐损失或时长损失权重。权重过小会导致对齐漂移,过大可能压制声学建模。常见风险是训练集转写错误、静音过多、语速差异大,导致对齐矩阵出现交叉、跳跃或重复。
通用配置包括:梅尔维数、帧长、帧移、文本词表大小、编码器/解码器隐藏维度、batch大小、学习率、梯度裁剪、训练轮数。损失可由梅尔重建损失、对数梅尔损失、对齐正则或时长损失组成。不要盲目堆大模型,先保证特征一致和对齐可观测。
验证时同时看训练/验证损失、对齐图、时长误差和合成听测。若损失下降但听感重复,优先排查对齐而不是继续调学习率。
客观验证可看梅尔重建误差、时长预测误差、对齐单调率、静音段比例;主观验证可做自然度与可懂度评分,或做ABX对比。至少抽取固定验证集,检查对齐图是否沿对角线稳定前进。若只能看损失,容易误判。
优先提升数据质量与特征一致性;其次增强时长/对齐监督,使用更稳定的单调对齐约束;再考虑模型容量与正则。工程上要固定特征参数、保存配置、记录对齐可视化、建立回归听测集。成本控制上,先用小数据跑通全链路,再逐步扩数据,不要一开始追求大模型。
本教程围绕早期TTS“文本到梅尔频谱”阶段,给出了从任务边界、数据准备、STFT梅尔特征、LPC/CELP思想、文本编码、对齐机制、训练配置到验证排查的完整流程。关键不是记住某个旧模型结构,而是理解两阶段拆分的原因、对齐为何是核心、自回归与非自回归的权衡,以及如何用对齐图和听测验证系统是否真正学会“读到哪里”。后续可继续学习声码器、时长建模和更现代的对齐方案。