节点式工作流如何实现AI图像一致性编辑

一、问题与适用边界

早期文生图采用”一段提示词，一张结果”的方式，有两个明显限制。第一，结果随机。同一段描述每次生成的人物五官、服饰纹理、标志形状都会不同，难以在多张图之间复用。第二，输出是整张图，无法限定修改范围。只想替换背景，衣服褶皱和手部结构也可能跟着变化。

电商换装、品牌标志迁移、商品图修复等任务要求”主体不变，背景或局部可变”。满足这一要求需要三项能力：以图像作为条件输入，限定可修改的区域，用少量样本让模型记住特定主体。节点式工作流把这三项能力拆成独立模块，每个模块的参数都可以单独检查。

这类方法做不到像素级一致。主体姿态、视角、光照变化越大，漂移越明显。小字、细线条标志和手指对编码与解码最敏感。下文给出的参数都只是起点，需要用自己的样本重新验证。

处理真人肖像、他人商品或品牌标志前，必须取得肖像权与商标权方面的授权。

二、核心概念

1. 扩散模型（diffusion model）：训练时逐步给图像加入高斯噪声，直到接近纯噪声。推理时从噪声出发，由神经网络逐步预测并去除噪声。每一步都依赖当前状态和条件信息，因此条件接入方式会直接改变结果。

2. 潜空间（latent space）：在像素空间直接计算成本很高。变分自编码器（VAE）先把图像压缩为低维潜变量，去噪在潜空间完成，最后由解码器还原为像素。这个压缩是有损的，解码后文字、细密纹理和小尺寸标志可能变糊。编辑前，可以先把原图编码再解码一次，比较细节损失有多大。

3. 条件（conditioning）：控制生成方向的外部信息，包括文本嵌入、参考图特征、掩码、姿态图或深度图。条件通过交叉注意力等方式注入去噪网络。节点没有正确接入时，模型会忽略该条件，而输出看起来仍然正常。

4. 掩码（mask）：标记哪些区域允许被重绘。白黑约定依工具和节点实现而定。多数 ComfyUI 类节点用白色表示重绘，但也有相反的实现。使用前用一张测试图确认：重绘区应当变化，保留区应当不变。掩码边缘需要羽化（feather）或向外扩展几像素到几十像素，否则接缝明显。

5. 低秩适配（LoRA）：不改动基础模型的权重矩阵 W，而是训练一对低秩矩阵 A 和 B。推理时，把增量 BA 按强度系数 s 叠加到 W 上，即 W’ = W + s·BA。训练时设定的 rank 决定增量的表达能力，rank 越高，参数越多，显存占用和过拟合风险也越大。常见做法是用十几张同一主体的样本训练，样本的角度和光照要有变化。同一层上的多个 LoRA 会相加，强度叠加后可能过强，需要逐个测试。

三、节点拓扑与执行顺序

以下以 ComfyUI 一类的节点图为例。节点名称因工具而异，但数据流基本一致。

局部重绘的执行顺序

1. 加载原图（Load Image），确认宽高为 8 的倍数，并把尺寸控制在模型训练分辨率附近。
2. 用 VAE Encode 把原图编码为潜变量。
3. 加载掩码，转为单通道，并按第二节的约定检查颜色。
4. 对掩码做羽化或扩展，再把掩码写入潜变量（如 Set Latent Noise Mask）。
5. 加载基础模型和 LoRA。LoRA 节点输出的模型必须是后续采样节点实际引用的模型。
6. 用 CLIP Text Encode 分别编码正向与反向提示词。
7. 若需要参考图或姿态约束，接入 IP-Adapter 或 ControlNet 等条件节点，并设置权重与生效区间。
8. 用 KSampler 采样，输入模型、条件和潜变量，设置种子、步数、采样器、CFG 与去噪强度。
9. 用 VAE Decode 把结果解码为像素。
10. 用掩码把新结果贴回原图（如 Image Composite Masked）。未被掩码覆盖的区域保留原像素，这一步能消除 VAE 往返编码带来的整体变化。

主体迁移的执行顺序

1. 编码参考图，提取主体特征（IP-Adapter 或同类图像条件）。
2. 加载主体 LoRA，设定强度。
3. 分层设置条件权重。参