简介:本文从图像分割的建模思路、监督范式、局部与全局方法等维度出发,系统梳理当前图像分割的主流研究方向。内容涵盖概率图模型、能量最小化、图割方法、深度学习方法以及弱监督与交互式分割等分支,帮助读者建立对图像分割技术体系的整体认知,并理解不同方法背后的数学动机与适用边界。
图像分割的目标是将图像划分为若干互不重叠的区域,使得同一区域内部在颜色、纹理、语义或运动等特征上具有一致性,而不同区域之间在这些特征上差异明显。这一定义看似直观,但在实际建模中却面临几个核心问题:如何定义“一致性”、如何度量区域边界、如何平衡局部细节与全局结构、以及如何在没有充分标注的情况下获得可靠结果。
从建模视角看,图像分割方法大体可以沿三个维度进行分类:
理解这三个维度,有助于在具体任务中选择合适的方法组合。例如,医学图像中器官边界模糊且拓扑约束强,往往需要引入形状先验的全局模型;而自然场景中的实例分割则更依赖深度特征与局部边界精修。
概率图模型为图像分割提供了一套严格的概率推理框架。图像被建模为一个无向图,其中节点对应像素或超像素,边编码相邻节点之间的空间关系。马尔可夫随机场是这一框架中最具代表性的模型,其核心思想是:每个像素的类别标签不仅取决于自身的外观特征,还受到邻域标签的约束。
一个典型的马尔可夫随机场分割模型可以写成如下能量函数形式:
E(L) = Σ_p D_p(l_p) + Σ_{p,q∈N} V_{p,q}(l_p, l_q)
其中 L = {l_p} 是所有像素的标签集合,D_p(l_p) 为数据项,衡量像素 p 被赋予标签 l_p 的代价;V_{p,q} 为平滑项,约束相邻像素标签的一致性。数据项通常由颜色直方图、高斯混合模型或深度特征给出,而平滑项常采用 Potts 模型或对比度敏感的边界保持项。
马尔可夫随机场的优势在于建模灵活,可以通过设计不同的势函数引入丰富的先验知识。但其主要挑战在于推理复杂度。精确求解一般情况下的多标签马尔可夫随机场是 NP 难问题,因此实际中通常采用近似算法,如迭代条件模式、置信传播、图割或变分推断。
图割方法将图像分割中的能量最小化问题转化为图论中的最小割问题。其基本构造是:建立一个源点 s 和汇点 t,每个像素作为中间节点,像素与源点、汇点之间以及相邻像素之间的边权重分别由数据项和平滑项决定。求解该网络的最小割,即等价于最小化原始能量函数。
这一方法的关键优势在于:对于二标签问题,图割可以保证得到全局最优解;对于多标签问题,通过 α-expansion 或 α-β swap 等移动算法,可以得到具有理论保证的强局部最优解。更重要的是,最小割问题存在多项式时间算法,可在实际图像规模上高效求解。
图割方法的提出对早期交互式分割产生了深远影响。用户只需在前景和背景区域分别标记少量笔画,系统即可根据颜色分布构建数据项,并通过图割自动传播标签,完成整幅图像的分割。这种方式将人工交互成本降到最低,同时保持了对模糊边界的较好处理能力。
从工程实现角度看,图割方法的关键在于图结构的构建效率与最大流算法的选择。随着图像分辨率提升,节点数量可达百万级别,因此实际系统中常采用多层金字塔策略或超像素预处理来降低计算规模。此外,为了处理彩色图像中的复杂颜色分布,数据项通常由高斯混合模型而非简单灰度直方图建模。
与离散的图模型不同,偏微分方程方法从连续视角处理分割问题。主动轮廓模型是其中的代表,其基本思想是定义一条初始曲线,在能量泛函的驱动下逐步演化,最终收敛到目标边界。
经典的能量泛函同时包含内部能量和外部能量:内部能量约束曲线的光滑性和连续性,外部能量吸引曲线向图像边缘移动。Mumford-Shah 模型及其简化版本进一步将分割转化为分段光滑函数逼近与边界长度惩罚之间的平衡问题,不依赖梯度信息,因此对噪声和弱边界更为鲁棒。
偏微分方程方法的物理意义清晰,便于引入形状先验和拓扑约束,在医学图像分割中仍有一席之地。但其数值求解依赖水平集或有限差分等计算格式,参数调节较为敏感,且拓扑变化处理相对复杂。近年来,这类方法与深度学习结合,形成了可微分的主动轮廓层,使得传统几何模型能够嵌入端到端训练框架。
深度卷积网络的出现极大推动了图像分割的进展,尤其是在语义分割和实例分割任务上。以编码器-解码器结构为代表的全卷积方法,能够在保留空间分辨率的同时提取高层语义特征。跳跃连接将浅层细节与深层语义融合,有效缓解了池化操作带来的空间信息损失。
空洞卷积通过扩大感受野而不增加参数数量,在多尺度上下文建模中发挥了重要作用。空间金字塔池化模块则从不同尺度并行提取特征,增强了网络对大小不一物体的适应能力。注意力机制进一步提升了长距离依赖建模能力,使分割网络能够捕获全局上下文信息。
深度学习方法依赖大规模像素级标注数据,而这类数据的获取成本远高于图像分类任务。为缓解标注压力,弱监督方法利用图像级标签、边界框或涂鸦等较弱标注进行训练;半监督方法则结合少量精确标注与大量未标注图像;域适应策略则着力解决训练数据与实际场景分布不一致的问题。
局部方法通常以像素邻域为基本计算单元,优点是细节保持能力强、计算相对高效,但容易受到噪声和局部歧义的影响。全局方法则通过引入整幅图像的统计信息、形状先验或长距离依赖来提升对复杂结构的理解,但计算开销通常更高。
在实际系统中,二者往往不是非此即彼的关系。例如,深度分割网络通过浅层特征保留局部细节,通过深层特征编码全局语义;图割模型通过数据项利用局部颜色信息,通过平滑项引入邻域一致性约束,再结合交互信息传递全局先验。这种多尺度、多层次的组合策略,已成为当前分割系统设计的基本范式。
图像分割的评价指标需要从区域重合度、边界精度和实例区分能力等多个角度综合考量。区域重合度常用交并比及其变体衡量;边界精度关注分割轮廓与真实边界的距离;实例分割还需评估不同实例之间的区分正确性。
尽管当前方法在标准数据集上已取得较高指标,开放问题仍然存在:小物体与细长结构的准确分割、遮挡场景下的实例归属判断、开放词汇的语义理解、以及在计算资源受限环境中的高效推理等,都是值得进一步探索的方向。从概率图模型到深度网络,从交互式分割到全自动理解,图像分割的研究脉络始终围绕一个核心问题展开:如何在保持计算可行性的前提下,将尽可能丰富的人类先验知识注入模型。这一问题的不同回答,构成了当前多样化的研究方向。