简介:本文系统解析基于扩散模型的"局部重绘"概念,聚焦入门工作流为何普遍采用"整图缩小后再重绘"策略,而非更直观的"裁剪遮罩区域→局部重绘→拼回原图"路径。读者可据此理解模型训练分辨率、显存开销与流程复杂度三大约束,掌握两种策略的适用边界与选型方法,从而在自己的显卡条件下搭建稳定、可控的重绘流程。
局部重绘(Inpainting)是扩散模型图像生成中的一类核心能力,指在不改动画面其他区域的前提下,仅对用户指定的遮罩(Mask)区域重新生成内容。它的本质是”约束式生成”:模型以原图为条件(Condition),以遮罩为空间约束,在保留区域上下文的同时,对缺失或被标记区域进行合理补全。
从技术视角看,局部重绘解决的是”定向编辑”问题——用户只想修改画面的一小块(如替换物体、修补瑕疵、调整局部细节),而不希望整张图被重新采样。从使用视角看,它把”随机生成”变成了”可编辑的绘画工具”,是商业设计、修图、素材迭代的关键环节。
理解局部重绘的关键,是理解它与”整图重绘”的区别:整图重绘完全依据提示词重新生成,画面每次都会变化;局部重绘则在原图约束下只改动局部,其余部分保持像素级稳定。
在基于节点的图像生成工作流中,实现局部重绘通常有两条路径,二者结果目标一致,但工程实现与资源开销差别很大。
做法是先把整张图(连同遮罩)缩放到模型的原生训练分辨率附近(例如 1024×1024),在缩放后的尺寸上进行重绘,然后再把结果放大回原始画布。入门工作流几乎默认采用这种策略。
做法是先计算出遮罩的外接矩形(Bounding Box),仅裁剪这一小块送入模型重绘,最后把重绘结果按遮罩边缘羽化后贴回原图。这在图形界面类工具中常被称为”仅重绘遮罩”,在节点化工作流中则需要手动搭建裁剪、重绘、缩放对齐、边缘融合等多组节点(部分增强型插件将其封装为专门的局部细节节点)。这一路径被认为更”高级”、更节省算力,也确实是一项成熟且标准的工业级技术。
尽管路径二听起来更优,入门工作流仍普遍采用路径一,原因集中在以下三个核心约束。
扩散模型对”物体长什么样”的理解,来自其训练阶段所见的数据分辨率。不同代际的模型有不同”舒适区”:早期小尺寸模型多以 512×512 训练,而新一代高分辨率模型多以 1024×1024 训练。
模型只在这个尺度上”见过世界”。如果强行让它在远高于训练分辨率的空间里(例如 4K 画布)直接重绘,它会因空间过大而”迷失”:注意力分布被稀释,出现肢体重复、多头、纹理密集堆砌等结构崩坏。整图缩小重绘之所以稳妥,正是因为它把生成尺度拉回到模型的认知舒适区,让模型”在自己的地盘上工作”。
扩散模型在采样过程中,中间特征图的显存占用与图像分辨率高度相关——分辨率越高,激活张量越大,显存需求呈非线性增长。对于消费级显卡(显存容量普遍有限)而言,直接在高分辨率下重绘极易触发显存溢出(Out Of Memory),导致进程崩溃。
整图缩小策略天然把生成尺寸压在模型的原生分辨率附近,从而将显存峰值控制在消费级显卡可承受的范围内。对于入门用户而言,”先缩小、再重绘、最后放大”是以最小的配置门槛换取流程能”跑通”的务实选择。
当显存不足时,主流工作流工具通常内置显存与系统内存之间的交换(Offload/Swap)机制:把暂时用不到的模型权重或中间数据换出到系统内存,需要时再换回。这能让大模型在低显存机器上”勉强跑起来”,但代价是采样速度显著下降,频繁的换入换出会拉长出图时间。
对新手来说,与其依赖这种拖慢速度的兜底机制,不如通过缩小重绘主动降低显存峰值。因此缩小策略与交换机制共同构成了”低配可运行”的组合拳。
需要强调:路径二不仅完全可行,而且是高级 AI 绘画中的标准做法。它的优势明显——只重绘小区域,显存开销低,且能在保持原图其余部分完全不变的同时进行高分辨率局部编辑。
但它对入门者不够友好的原因也很清晰:
一句话概括:路径二把控制权交给了用户,但同时也把复杂度和出错概率交给了用户。
局部重绘的本质,是在原图约束下对指定区域进行定向生成。入门工作流之所以偏好”整图缩小后再重绘”,而非更直观的”裁剪—重绘—拼接”,根本上是三大约束共同作用的结果:模型训练分辨率决定了生成的认知舒适区,显存开销决定了硬件门槛,流程复杂度决定了稳定性。缩小策略以牺牲部分精度为代价,换取了低配置可运行与新手易上手;局部拼接策略则提供了更精细、更省算力的控制,但需要更高的工程能力与配置支撑。理解二者的适用边界,才能在自己的硬件条件与任务目标之间做出合理选型。