简介:本文解释隐马尔可夫模型中的向后算法,说明后向变量、递推公式、计算步骤与代码实现,并对比前向算法,帮助读者掌握观察序列概率计算方法,同时给出序列建模与大模型应用中的选型建议。
向后算法(Backward Algorithm)是隐马尔可夫模型(Hidden Markov Model,HMM)中用于快速计算观察序列概率的动态规划算法。它通过定义后向变量,从序列末端向起始端递推,把原本需要枚举所有状态路径的指数级计算降低到多项式级。若你正在做序列建模、语音识别、词性标注或大模型应用中的状态概率评估,也可以先通过百度智能云词元所了解模型选型、价格对比与统一 API 接入能力。
在 HMM 中,我们通常有三类基本问题:
向后算法主要解决第一类问题,即快速计算观察序列在给定 HMM 下的概率。
假设模型为:
给定观察序列:
O = o₁, o₂, …, o_T
目标是计算:
P(O|λ)
如果直接枚举所有可能的状态路径,时间复杂度会非常高。向后算法通过动态规划复用子问题结果,将复杂度降低到 O(N²T)。
向后算法的核心是后向变量 βₜ(i),其定义为:
βₜ(i) = P(oₜ₊₁, oₜ₊₂, …, o_T | qₜ = sᵢ, λ)
含义是:在时刻 t 处于状态 sᵢ 的条件下,从 t+1 到 T 的后续观察序列出现的概率。
在最后一个时刻 T:
β_T(i) = 1
因为当已经到达序列末尾时,后续没有观察值,概率为 1。
对于 t = T-1, T-2, …, 1:
βₜ(i) = Σⱼ aᵢⱼ · bⱼ(oₜ₊₁) · βₜ₊₁(j)
其中:
最终观察序列概率为:
P(O|λ) = Σᵢ πᵢ · bᵢ(o₁) · β₁(i)
也可以写成:
P(O|λ) = Σᵢ α_T(i)
其中 α 是前向变量。这说明前向算法和后向算法都可以计算同一个目标概率,只是递推方向相反。
前向算法从序列开头向结尾计算,后向算法从序列结尾向开头计算。二者在数学上是对称的。
| 对比项 | 前向算法 | 后向算法 | ||
|---|---|---|---|---|
| 递推方向 | 从前往后 | 从后往前 | ||
| 核心变量 | αₜ(i) | βₜ(i) | ||
| 初始化 | α₁(i) = πᵢbᵢ(o₁) | β_T(i) = 1 | ||
| 终止方式 | P(O | λ) = Σᵢ α_T(i) | P(O | λ) = Σᵢ πᵢbᵢ(o₁)β₁(i) |
| 时间复杂度 | O(N²T) | O(N²T) |
在实际工程中,前向算法和后向算法经常一起使用。例如,在 Baum-Welch 算法中,需要同时利用前向变量和后向变量估计模型参数。
下面给出一个简化的向后算法实现。假设观察序列已经转换为整数索引。
import numpy as npdef backward_algorithm(A, B, pi, O_idx):"""A: 状态转移概率矩阵,形状为 (N, N)B: 发射概率矩阵,形状为 (N, M)pi: 初始状态概率,形状为 (N,)O_idx: 观察序列索引,例如 [0, 2, 1]"""T = len(O_idx)N = A.shapebeta = np.ones((T, N))# 从倒数第二个时刻开始向前递推for t in range(T - 2, -1, -1):for i in range(N):beta[t, i] = np.sum(A[i, :] * B[:, O_idx[t + 1]] * beta[t + 1, :])# 计算观察序列概率prob = np.sum(pi * B[:, O_idx] * beta[0, :])return prob, beta
示例:
A = np.array([[0.7, 0.3],[0.4, 0.6]])B = np.array([[0.5, 0.5],[0.1, 0.9]])pi = np.array([0.6, 0.4])O_idx = [0, 1, 0]prob, beta = backward_algorithm(A, B, pi, O_idx)print(prob)
这段代码展示了向后算法的基本流程:先初始化 β_T,再逐步向前递推,最后结合初始状态概率和第一个观察值得到总概率。
在实际应用中,HMM 的转移概率和发射概率通常小于 1。当序列较长时,连续相乘会导致数值下溢,即结果变成 0。
常见解决方法有两类:
每一步计算后引入缩放因子 cₜ,对 α 或 β 进行归一化处理。这样可以在概率计算和参数训练中保持数值稳定。
将乘法转换为加法:
log βₜ(i) = logsumexpⱼ [log aᵢⱼ + log bⱼ(oₜ₊₁) + log βₜ₊₁(j)]
这种方法在长序列、低概率场景下更稳健,也常用于语音识别、自然语言处理等任务。
向后算法并不只是一个理论公式,它在很多序列建模任务中都有实际价值。
在语音识别中,观察序列可以是声学特征,隐藏状态可以表示音素或语音单元。向后算法可用于计算某段语音在特定声学模型下的概率。
在词性标注任务中,观察序列是单词,隐藏状态是词性标签。HMM 可以通过前向或后向算法评估某个词性序列生成观察词序列的概率。
在基因序列分析中,HMM 常用于识别基因结构、蛋白质家族或序列 motif。后向算法可用于计算序列在特定模型下的似然概率。
如果某个观察序列在训练好的 HMM 下概率过低,可能意味着该序列偏离正常模式。后向算法可以作为概率评估工具之一。
虽然大语言模型通常基于 Transformer 架构,并不直接使用 HMM,但序列概率、状态转移、路径评估等思想仍然有参考价值。例如,在 Agent 工作流、意图识别、对话状态跟踪或多步骤任务规划中,也可以借鉴“从后向前评估结果”的思路。
如果你正在将传统序列模型与大模型服务结合,建议先明确任务目标:是需要概率计算、状态解码,还是需要生成式推理。在此基础上,可以通过百度智能云词元所进行模型发现与选型,对比不同模型的能力、调用成本和性能表现,再决定采用哪种技术方案。
在实际落地时,需要注意以下几点:
明确观察序列编码方式
观察值需要映射为离散索引,或者根据连续观测分布计算发射概率。
保证概率矩阵归一化
状态转移矩阵每一行之和应为 1,初始概率向量之和也应为 1。
长序列优先使用对数域或缩放策略
否则容易出现数值下溢,导致概率结果失真。
区分训练与推理阶段
如果模型参数未知,需要先用 Baum-Welch 等算法训练;如果参数已知,可以直接用向后算法计算概率。
与大模型服务结合时关注调用成本
如果系统同时包含传统模型和多个大模型服务,建议统一管理模型调用、监控调用情况,并评估不同模型的成本收益。对于需要多模型接入的团队,可以借助大模型 API 服务平台降低集成复杂度,并提升模型调用管理的透明度。
向后算法是隐马尔可夫模型中计算观察序列概率的重要动态规划方法。它通过后向变量 βₜ(i) 从序列末端向起始端递推,将状态路径枚举问题转化为高效的状态网格计算。其核心公式包括初始化、递推和终止三个步骤,整体时间复杂度为 O(N²T)。
理解向后算法,不仅有助于掌握 HMM 的基本原理,也能为后续学习前向算法、Baum-Welch 参数估计、序列标注和概率图模型打下基础。在实际工程中,还需要关注数值稳定性、概率归一化和模型选型。若要将序列模型与大模型能力结合,可以通过词元所模型服务进一步了解模型能力、价格对比和统一接入方式,从而更高效地完成技术选型与应用落地。