深入理解机器学习——概率图模型（PGM）：隐马尔可夫模型（HMM）

一、概率图模型与HMM的定位

概率图模型（Probabilistic Graphical Model, PGM）是机器学习领域表示复杂概率分布的框架，通过图结构编码随机变量间的依赖关系。作为PGM的典型代表，隐马尔可夫模型（Hidden Markov Model, HMM）具有以下核心特征：

1. 双重随机过程：由隐藏状态序列和观测序列构成
2. 马尔可夫性质：当前状态仅依赖前一个状态（一阶假设）
3. 生成模型特性：可模拟观测数据的产生过程

二、HMM的数学定义

一个标准HMM由五元组定义：λ = (S, V, A, B, π)

• S = {s₁,…,s_N}：隐含状态集合（N种状态）
• V = {v₁,…,v_M}：观测符号集合（M种观测）
• A = [a{ij}]：状态转移矩阵（N×N），a{ij} = P(q_{t+1}=s_j | q_t=s_i)
• B = [b_j(k)]：观测概率矩阵（N×M），b_j(k) = P(o_t=v_k | q_t=s_j)
• π = [π_i]：初始状态分布（N维向量）

三、三大核心问题与解法

3.1 评估问题（Evaluation）

问题描述：给定模型λ和观测序列O，计算P(O|λ)

前向算法（Forward Algorithm）：

def forward(obs_seq, hmm):
    alpha = np.zeros((len(obs_seq), hmm.N))
    # 初始化
    alpha[0, :] = hmm.pi * hmm.B[:, obs_seq[0]]
    # 递推
    for t in range(1, len(obs_seq)):
        for j in range(hmm.N):
            alpha[t, j] = np.sum(alpha[t-1, :] * hmm.A[:, j]) * hmm.B[j, obs_seq[t]]
    return np.sum(alpha[-1, :])

3.2 解码问题（Decoding）

问题描述：寻找最优状态序列Q* = argmax₀ P(Q|O,λ)

Viterbi算法动态规划实现：

def viterbi(obs_seq, hmm):
    T, N = len(obs_seq), hmm.N
    delta = np.zeros((T, N))
    psi = np.zeros((T, N), dtype=int)
    delta[0] = hmm.pi * hmm.B[:, obs_seq[0]]
    for t in range(1, T):
        for j in range(N):
            trans_prob = delta[t-1] * hmm.A[:, j]
            psi[t, j] = np.argmax(trans_prob)
            delta[t, j] = np.max(trans_prob) * hmm.B[j, obs_seq[t]]
    # 回溯
    path = np.zeros(T, dtype=int)
    path[-1] = np.argmax(delta[-1])
    for t in range(T-2, -1, -1):
        path[t] = psi[t+1, path[t+1]]
    return path

3.3 学习问题（Learning）

Baum-Welch算法（EM算法特例）步骤：

1. 初始化模型参数λ⁽⁰⁾
2. E-step：计算ξₜ(i,j)=P(qₜ=i,qₜ₊₁=j|O,λ)和γₜ(i)=P(qₜ=i|O,λ)
3. M-step：重估参数：
   • āᵢⱼ = Σξₜ(i,j)/Σγₜ(i)
   • b̄ⱼ(k) = Σ[γₜ(j)·I(oₜ=vₖ)]/Σγₜ(j)
   • π̄ᵢ = γ₁(i)

四、关键改进与变体

1. 高阶HMM：放宽一阶马尔可夫假设（计算复杂度呈指数增长）
2. 输入输出HMM（IOHMM）：引入外部输入变量
3. 连续观测HMM：用GMM等替代离散观测矩阵
4. 因子化HMM：分解状态空间降低维度

五、典型应用场景

5.1 语音识别

• 隐藏状态：音素（phoneme）
• 观测序列：MFCC特征向量
• 经典应用：GMM-HMM混合模型

5.2 生物信息学

• DNA序列分析：状态对应基因编码区/非编码区
• 蛋白质结构预测：二级结构状态推断

5.3 自然语言处理

• 词性标注：状态为POS tag，观测为单词
• 命名实体识别：BIO标注方案

六、实践建议

1. 参数初始化策略：
   • 转移矩阵：避免零概率（加平滑项）
   • 观测矩阵：用监督数据预训练
2. 模型选择：
   • 使用BIC准则：BIC = -2·logP(O|λ) + k·logT
   • k为参数个数，T为序列长度
3. 计算优化：
   • 对数空间运算防下溢
   • 并行化前向/后向计算

七、与其他模型的对比

特性	HMM	CRF	RNN/LSTM
建模方向	生成模型	判别模型	判别模型
序列处理	严格马尔可夫	任意特征	长程依赖
训练数据	无需标注	需完全标注	需大量数据
可解释性	高	中等	低

八、延伸阅读方向

1. 动态贝叶斯网络：HMM的图模型泛化
2. 层次化HMM（HHMM）：处理多尺度时序结构
3. 马尔可夫随机场：无向图模型的对比研究

通过本文的系统性阐述，读者应能掌握HMM的核心原理与实现方法，并在实际项目中合理选择和应用这一经典时序建模工具。