简介:局部重绘是只修改遮罩区域、保留画面其余部分的生成式编辑方法。本文解释入门工作流为何默认采用"先缩放再重绘",并与"裁剪拼接"策略对比显存开销、模型分辨率适配、接缝一致性与保真度,帮助读者理解两类方案的原理、适用场景与选型方法。
在基于扩散模型的图像生成与编辑中,”局部重绘”(Inpainting,也称图像修复或局部重绘)是最常用的编辑范式之一。它只重画用户指定的区域,其余画面保持原样。然而在节点式图像生成工作流中,入门教程普遍采用”先把整张图缩小,再重绘”的缩放式策略,较少默认使用”仅裁剪遮罩区域→重绘→拼回原图”的拼接式策略。这并非因为后者技术不成熟,恰恰相反,裁剪重绘在各类工具链中是成熟的进阶方案。两者的差别,本质上是对”显示分辨率”与”模型工作分辨率”之间矛盾的不同取舍。下面先给出定义,再说明缩放式为何成为入门默认,最后比较两类方案的原理、场景与选型方法。
从技术视角看,局部重绘是在潜空间(Latent Space)中进行的定向再生成:
这样一来,计算仍然覆盖整张画布,但实际变化只发生在遮罩区域。
从使用视角看,局部重绘是”遮罩驱动的受控编辑”:用户在画布上涂抹待修改区域,再用文字描述期望效果,即可替换物体、调整局部光照、移除杂物或微调细节,而人物姿态、背景构图等其他部分基本不变。
从业务视角看,局部重绘把”整图重做”变成了”定点修改”。生成结果更可预期,迭代成本更低,也便于通过固定随机种子和参数,在批量任务中获得可复现的输出。
局部重绘要解决的核心问题是:在难以精确”重画”的前提下,如何在不破坏原图的前提下修改指定内容。不同工具、不同版本之间,实现细节存在差异,例如:
但”遮罩内重画、遮罩外保留”这一基本范式是共通的。
在分辨率处理上,局部重绘存在两条主要技术路线:
两条路线都能输出局部修改后的图像,结果也都可以接受。差别在于它们把成本花在了哪里:一个优先控制显存与失败率,一个优先保证高分辨率下的局部细节。
| 编辑目标 | 建议遮罩范围 | 是否原样保留遮罩外区域 | 典型用法 |
|---|---|---|---|
| 擦除杂物、补全画面 | 仅杂物与需修复区域,略大于物体边缘 | 是 | 涂抹后以较高去噪强度重绘 |
| 原位置整体替换物体 | 覆盖旧物体的完整轮廓 | 是 | 高去噪强度重绘;必要时先做低强度重绘生成适配的遮罩 |
| 局部换色、换材质、微调细节 | 尽量贴近目标表面 | 是 | 低至中等去噪强度 |
| 局部风格化改造 | 整个待改造区域 | 否 | 遮罩外也参与部分去噪,使风格自然衔接过渡 |
最后一行在实际工具中有专门模式支撑,部分工具中常称为”修复原图”或”蒙版重绘”。它的含义是:遮罩外区域不参与重绘,遮罩内则按提示词重画。这与完全不修改任何非遮罩像素的严格局部重绘不同,使用时应留意参数名称及官方文档的定义。
全图生成或全图重绘每次都会重建所有内容,意味着:
局部重绘通过遮罩把编辑范围限定在明确区域,把”一次性生成整张图”拆成”多轮定点修改”。它带来的价值主要有四点:
扩散模型在一次采样中,需要同时驻留模型权重与网络中间激活。以”8 倍下采样的潜空间、单层自注意力”为例,可以估算两者的关系:
# 示意:分辨率对潜变量数量与注意力矩阵规模的影响# 假设潜空间下采样倍数为 8for side in [512, 1024, 2048, 4096]:tokens = (side // 8) ** 2attn_entries = tokens ** 2print(f"{side}x{side}: tokens={tokens}, attn_entries={attn_entries}")# 输出(示意):# 512x512: tokens=4096, attn_entries=16777216# 1024x1024: tokens=16384, attn_entries=268435456# 2048x2048: tokens=65536, attn_entries=4294967296# 4096x4096: tokens=262144, attn_entries=68719476736
实际增幅会受具体实现影响:
因此,原始资料中所说”显存消耗与分辨率呈指数级增长”并不是严格的数学结论。更准确的理解是:显存开销随分辨率呈超线性增长。相应地,以上数值只反映单项量级,不能据此推算具体显卡上的实际占用。但结论方向一致:分辨率越高,显存需求上升越快。
缩放式工作流的作用在于把”画布”固定在模型的原生尺度附近,让显存需求基本可控。无论输入原图是 4K 还是 8K,只要缩小到同一个工作分辨率,显存需求都大致落在同一区间,用户不必根据每张图重新估算资源。
扩散模型的生成能力来自训练数据。主流模型多在少数几个固定分辨率上训练,例如:
模型在这些分辨率下学到了物体的典型尺寸、空间关系、纹理统计规律,甚至位置编码等工作假设。一旦输入画布远远超出这一范围,模型就进入了”认知盲区”,常见表现包括:
缩放式的应对方式是让模型回到熟悉的尺度。其含义是:
除上述两点外,缩放式在工程设计上还有几层考虑:
裁剪拼接并非”不能做”,而是”代价不同”。它在实际工作流中很常见,例如:
其优势很明确:重绘块始终处于模型最擅长的尺度附近;裁剪块与原图同分辨率贴回,原始像素不被缩放,局部清晰度天然更好。
其局限也很明显,主要体现在四个方面:
对入门用户而言,收益集中在极少数”局部精修”场景,而成本体现在每一次使用上。因此更合理的定位是:裁剪拼接是进阶方案,缩放式是通用起点。
以下代码为通用伪代码,展示缩放式流程的基本结构:
def scaled_inpaint(image, mask, model, base_size=1024, denoise=0.75, steps=28):# 1. 等比缩放画布到模型工作分辨率附近work_image = resize_keep_ratio(image, longest_side=base_size)work_mask = resize_keep_ratio(mask, longest_side=base_size)# 2. 编码为潜变量latent = vae_encode(work_image, model.vae)# 3. 在遮罩区域内按 denoise 强度重绘result = sample_inpaint(model=model,latent=latent,mask=work_mask,denoise=denoise, # 数值越大,改动越彻底steps=steps)# 4. 解码并放大回原图尺寸return resize_to(vae_decode(result, model.vae), size=image.size)
裁剪拼接流程可以概括为”先裁、再画、后贴”:
def crop_composite_inpaint(image, mask, model, context=64, base_size=1024):box = expand(mask.bounding_box(), margin=context)patch = image.crop(box)patch_mask = mask.crop(box)edited = sample_inpaint(model=model,latent=vae_encode(resize_keep_ratio(patch, longest_side=base_size), model.vae),mask=resize_keep_ratio(patch_mask, longest_side=base_size),denoise=0.8,)# 边缘羽化,避免硬边界blended = feather_blend(patch, edited, mask=patch_mask)image.paste(blended, box)return image
| 对比维度 | 缩放式局部重绘 | 裁剪拼接式局部重绘 |
|---|---|---|
| 重绘尺度 | 整图统一缩小后的尺度 | 局部块的尺度 |
| 显存需求 | 与工作分辨率绑定,可预期 | 与裁剪块大小相关,峰值更低 |
| 上下文信息 | 完整保留整图 | 仅限裁剪框内的内容 |
| 局部保真度 | 受缩放损失限制,放大后细节偏软 | 原分辨率像素参与合成,细节更锐利 |
| 接缝风险 | 基本没有拼接问题 | 需要羽化、颜色匹配等后处理 |
| 批量稳定性 | 高,参数体系统一 | 较低,依赖裁剪框与偏移计算 |
| 主要适用场景 | 通用编辑、批量任务、低显存环境 | 高分辨率精修、人脸与小物件细节增强 |
局部重绘的本质,是以遮罩为边界、在潜空间中定向再生成图像的编辑方法。它的价值在于可控、可迭代、可批量。而”缩放式”与”裁剪拼接式”并不是谁更先进,而是两种工程取舍:
对绝大多数入门用户而言,先用缩放式跑通流程、建立对参数的直觉,再在真正需要”高清细节”的场景引入裁剪拼接,是更稳妥的路径。理解了这一点,也就理解了为什么入门工作流普遍选择”先缩小、再重绘”。