有监督与无监督学习经典算法及深度学习解析

一、从“学习方式”说起：训练数据决定了学习范式

机器学习的本质，是让计算机从数据中自动归纳规律，并用这些规律对新样本做出预测或决策。可以粗略地理解为：通过训练数据与算法模型，让机器逐步获得“类智能”能力的方法。

在这个过程中，训练数据的形态——尤其是“是否携带标签”——直接决定了模型采用何种学习方式。业界通常将学习范式划分为监督学习、无监督学习、半监督学习，以及侧重“与环境交互试错”的强化学习。其中前两类最为基础，也最常被放在一起对比。

用“猫狗图片分类”来直观理解三者的差异：

• 监督学习：给机器看图片的同时附上答案（“这张是猫、那张是狗”），机器学习从输入到输出的映射关系，本质是“照着标准答案学规律”；
• 无监督学习：只给图片不给答案，机器自行观察图片间的相似性与差异性，把数据划分为若干簇，本质是“自己总结规律”；
• 半监督学习：一部分图片有答案、大部分没有，机器利用少量标注信息去引导海量无标注数据的学习。

下面按照这一框架，逐一展开各类范式下的代表算法。

二、有监督学习：从标注数据中学习映射

监督学习的训练数据形如 {(x₁,y₁), (x₂,y₂), …, (xₙ,yₙ)}，其中 x 是特征、y 是标签。按 y 的取值类型，任务分为两大类：

• 分类（Classification）：y 为离散类别，如垃圾邮件识别、疾病诊断；
• 回归（Regression）：y 为连续数值，如房价预测、销量预估。

（1）线性回归：最基础的回归算法，假设输出与输入呈线性关系，通过最小化均方误差（MSE）求解权重。其梯度下降求解过程可概括为：

# 概念示例：线性回归的梯度下降（伪代码）
w, b = 0, 0
for step in range(max_steps):
    y_pred = [w * x + b for x in X]
    grad_w = mean([(yp - yt) * x for x, yp, yt in zip(X, y_pred, y)])
    grad_b = mean([yp - yt for yp, yt in zip(y_pred, y)])
    w -= lr * grad_w
    b -= lr * grad_b

（2）逻辑回归：名字带“回归”，实为分类算法。在线性组合之上套一层 Sigmoid 函数，把输出压缩到 (0,1) 区间表示概率，是二分类问题的经典基线。

（3）决策树：通过一系列 if-then 规则对特征空间递归划分，例如“耳朵形状是尖的 → 更可能是猫”。代表实现包括 ID3、C4.5 与 CART。优点是可解释性极强，缺点是容易过拟合，需要剪枝。

（4）集成方法：

• 随机森林：并行训练多棵决策树，每棵树只使用部分样本与部分特征，最终投票表决，显著降低方差；
• 梯度提升树（GBDT 思想）：串行训练多棵树，每棵新树拟合前一轮的残差。在表格类数据（风控、营销预测）中表现强劲。

（5）支持向量机（SVM）：寻找能把不同类别分开且“间隔最大”的超平面，并借助核技巧处理非线性问题，在小样本、高维场景中表现出色。

（6）K 近邻（KNN）：“近朱者赤”——对新样本查看特征空间中最近的 K 个邻居，用邻居的多数标签投票。无需显式训练，但预测开销大、对特征尺度敏感。

（7）朴素贝叶斯：基于贝叶斯定理并假设特征条件独立，计算高效，长期占据文本分类（如垃圾邮件过滤）的一席之地。

典型应用：信用评分、邮件过滤、医学影像辅助判读、销量预测等。

三、无监督学习：从数据结构中发现规律

无监督学习的训练数据只有 x 没有 y，目标是从数据本身的结构中挖掘信息，主要任务包括聚类、降维、关联规则挖掘与异常检测。

（1）K 均值聚类（K-Means）：最著名的聚类算法，通过“分配—更新”两步反复迭代直至收敛：

初始化 K 个聚类中心 c1..ck
重复：
    对每个样本 x，归入距离最近的中心所在簇
    对每个簇，重算均值作为新中心
直到中心不再变化或达到最大迭代次数

优点是简单高效；缺点是需预先指定 K，只适合“球状”簇，且对噪声敏感。

（2）层次聚类：自底向上逐步合并最相似的簇（凝聚式），或自顶向下逐步拆分（分裂式），生成树状聚类结构，无需预先指定簇数。

（3）DBSCAN：基于密度的聚类，能发现任意形状的簇并自动识别噪声点，无需预设簇数，但对密度参数较敏感。

（4）高斯混合模型（GMM）：假设数据由多个高斯分布混合而成，用期望最大化（EM）算法估计参数，属于“软聚类”——每个样本以概率属于各簇。

（5）主成分分析（PCA）：经典线性降维。通过对协方差矩阵做特征值分解，找到方差最大的若干正交方向，将数据投影到低维空间，常用于压缩、去噪与可视化。

（6）自编码器：神经网络版降维——编码器把输入压缩为低维表示，解码器重建输入，以最小化重建误差为目标，瓶颈层即学到的紧凑特征。

（7）关联规则挖掘：从交易数据中挖掘“买 A 者也常买 B”的规律，经典算法如 Apriori，广泛用于购物篮分析与推荐。

（8）异常检测：基于密度、距离或孤立森林等思想识别离群样本，用于反欺诈、设备故障预警。

典型应用：用户分群、资讯聚合、异常流量识别、推荐召回等。

四、介于两者之间：半监督学习

现实中，标注往往昂贵且耗时：医学影像需要资深医生逐张标注，语音转写需要人工核对。半监督学习正是为“少量有标注 + 大量无标注”的场景而生：

• 自训练：先用标注数据训练初始模型，再为无标注数据打“伪标签”，将高置信度样本加入训练集迭代优化；
• 协同训练：用两组特征视图各自训练模型，互相为对方提供伪标签；
• 基于图的方法：将样本构建成图结构，让标签沿边在图上传播。

其价值在于用极低的标注成本逼近全监督的效果，在工业界应用广泛。

五、深度学习：横跨范式的架构体系

需要澄清一个常见误区：深度学习并非与监督/无监督并列的“第三种学习方式”，而是以深层神经网络为核心的建模技术体系，它既能服务于监督学习，也能承载无监督与自监督学习。

• 卷积神经网络（CNN）：用卷积核提取局部特征、池化层获得平移不变性，是图像分类与目标检测的奠基架构；
• 循环神经网络（RNN / LSTM / GRU）：引入隐状态记忆历史信息，适合序列数据；LSTM 通过门控机制缓解长序列梯度消失，曾长期主导语音识别与机器翻译；
• Transformer：完全基于自注意力机制、摆脱循环结构、可大规模并行训练，是当前大模型的基础架构。其“预训练 + 微调”范式本质上是自监督思想的实践：先在海量无标注文本上预训练，再在少量标注数据上微调；
• 生成对抗网络（GAN）：生成器与判别器对抗训练，属于无监督的生成式建模，可用于图像生成与数据增强；
• 对比学习：通过“拉近正样本对、推远负样本对”的自监督目标学习通用表示，是近年无监督表示学习的主流方向。

六、一张对比表与选型决策路径

维度	有监督学习	无监督学习	半监督学习
训练数据	特征 + 标签	仅特征	少量标签 + 大量无标注
学习目标	输入到输出的映射	挖掘内在结构	以少量标注撬动无标注数据
典型任务	分类、回归	聚类、降维、异常检测	标签稀缺场景下的分类
代表算法	线性回归、SVM、随机森林	K-Means、PCA、DBSCAN	自训练、协同训练
主要代价	标注成本高	缺乏客观评估标准	训练流程更复杂

工程选型时可参考如下路径：

1. 看标签：有充足高质量标签选监督学习；完全没有标签选无监督先探索数据结构；少量标签加海量无标注数据选半监督；
2. 看目标：离散类别选分类、连续数值选回归、无目标只探索选聚类或降维；
3. 看规模与形态：小规模表格数据用传统算法往往已足够且更易解释；大规模图像、语音、文本则深度学习架构更具优势。

七、从算法到落地的工程视角

算法只是起点。训练好的模型需要被部署为在线推理服务，并配合对象存储（存放训练数据与模型产物）、容器平台（承载服务弹性伸缩）、日志服务与监控告警（保障线上稳定性）等通用云能力，才能形成完整落地链路。在百度智能云等平台上，这类通用能力可以按需组合，帮助团队把精力聚焦在算法与业务本身。

八、总结

监督学习依靠标注数据学习“输入→输出”的映射，代表算法覆盖线性回归、逻辑回归、决策树、随机森林、SVM 等；无监督学习在无标签数据中挖掘结构，代表算法包括 K-Means、DBSCAN、PCA、自编码器等；半监督学习以少量标注撬动大量无标注数据；而深度学习是横跨这些范式的建模技术，孕育出 CNN、RNN、Transformer、GAN 等架构。理解各学习方式的边界与代表算法的适用条件，是构建机器学习知识体系、并在实际项目中做出合理技术选型的第一步。