简介:本文承接扩散模型原理系列,聚焦“如何把模型原本不认识的新概念注入已训练好的大模型”这一工程难题。围绕文本反转与低秩适配两条增量式改造路线,剖析条件注入、参数冻结、低秩更新、先验保持等关键机制,说明它们为何能在不重训去噪主干的前提下扩展生成能力,并给出训练流程、推理链路、方案对比、适用边界与常见误区,帮助读者建立可控生成的完整原理认知。
图像生成大模型的核心能力是:在潜空间中学习一个从噪声到图像的映射,并允许用文本作为条件来引导这个映射。它擅长生成训练分布内的内容,却不擅长表达“分布外的新概念”——某个特定的人、某件具体的产品外观、某种小众画风、某个专有角色形象。
本文讨论的正是解决这一矛盾的两类原理机制:
两者的共同命题是:条件通路的改造入口,比去噪主干本身便宜得多。理解这一点,就理解了整个可控生成生态为什么能在个人算力条件下繁荣起来。
需要补充一句产业背景:基础模型的预训练规模逐年增长,“大就是能力”的趋势仍在延续,这类高成本工作主要发生在具备大规模算力与数据能力的机构侧,并通过开放权重与通用算力平台的方式向社区外溢。对个人与小型团队而言,站在已有基座上做增量改造、保持对新机制的持续学习与实践,才是投入产出比最高的路径。
问题一:自然语言不足以承载精确需求。 文本编码器在预训练时建立的是“词—语义子空间”的统计映射。遇到训练中未出现的专名时,分词器会把它切成若干子词碎片,其语义被平均成通用词向量。用户脑子里有明确对象,但模型收到的只是一串“近似无关的普通词”。
问题二:重训代价不可承受。 一次完整预训练涉及海量图文对、长期算力占用与完整评测体系。要求普通用户为新概念重训主干,在工程上不成立。
问题三:盲目全量微调会破坏先验知识。 这是最容易被低估的风险。小样本上直接全量微调,会触发灾难性遗忘:模型过拟合到几张图的背景、光照与构图,输出多样性与语言理解能力同时下降,表现为“只会生成训练图的变体”。
问题四:概念需要可管理、可组合、可回滚。 生产场景里,不同业务需要各自的专有对象。如果每次改动都产出一份完整模型,版本管理与分发成本会随概念数量线性膨胀。
| 概念 | 含义 | 与本文的关系 |
|---|---|---|
| 潜空间与噪声调度 | 前向过程按预定方差表对潜变量逐步加噪,反向过程训练网络预测所加噪声 | 决定训练损失的形式与采样步数 |
| 交叉注意力条件注入 | 空间特征作查询(Q),文本特征作键值(K/V) | 文本反转“只改嵌入就生效”的根本原因 |
| 先验知识保持 | 用类提示词(class prompt)约束模型在无关语义上的输出分布 | 抑制遗忘的核心手段 |
| 可训练参数占比 | 参与梯度更新的参数占总量比例 | 所有轻量方法的共同杠杆 |
前向加噪的闭式表达可写为:
q(z_t | z_0) = N( sqrt(ᾱ_t) · z_0 , (1 - ᾱ_t) · I )训练目标: L = E_{z0, t, ε} [ || ε - ε_θ(z_t, t, c) ||² ]其中 c 为文本条件,ᾱ_t 为累计保留系数
关键点在于:损失只对 ε_θ 的参数求梯度,而 c 本身在文本反转方案里也是一个可优化变量。这一点是全部推理的起点。
一条完整的可控生成链路,可以按职责拆成六层:
在工程落地时,这些层次通常直接映射到通用云产品类别上:算力实例与容器平台承载训练与推理,对象存储保存数据集与增量产物,日志服务与监控告警负责可观测性,身份认证与访问控制负责资源隔离。百度智能云等主流云平台提供的通用云产品类目即可承接上述环节,无需为单一方案定制。
新增一个占位 token(例如形如 <新概念> 的形式),把它的嵌入向量初始化为小随机值并设为唯一可训练参数,其余全部 require_grad = False。训练目标仍是标准的噪声预测损失。
多 token 占位(以容量换表达)、实例集多样性增强、条件随机丢弃(提升引导鲁棒性)、类图正则项、早停,以及固定随机种子 + 固定提示词集的可比评测。
tok_id = tokenizer.add_new_placeholder("<new-concept>") # 1. 新增占位词emb_table = text_encoder.embedding_tablefor p in text_encoder.parameters(): p.requires_grad = Falseemb_table.weight[tok_id] = torch.randn(1, dim) * 0.02 # 2. 仅该向量可训练params = [emb_table.weight[tok_id]]for step in range(total_steps):imgs, class_imgs = sampler.sample_batch() # 3. 取实例集与类集c = encode(template_instance + " <new-concept> " + suffix)c_reg = encode(template_class + " " + class_name + " " + suffix)z0 = vae_encode(imgs); t = sample_timesteps(); eps = randn_like(z0)loss = mse(eps, unet(add_noise(z0, eps, t), t, c)) # 4. 主损失if use_prior_preservation: # 5. 先验保持正则z0r = vae_encode(class_imgs)eps_r = randn_like(z0r)loss += w_reg * mse(eps_r, unet(add_noise(z0r, eps_r, t), t, c_reg))loss.backward(); opt.step() # 6. 梯度仅流入该向量if step % eval_every == 0:log_samples(pipe, prompt=test_set, seed=42) # 7. 固定种子可比评估
文本反转改变的是“语义指向哪里”,而某些需求改变的是“条件如何被读取”——特定身份的高保真复现、复杂材质与光泽、专有产品结构。这类能力需要在特征变换矩阵中做实质性调整,单靠一个锚点向量无法表达。
核心观察是:任务适配引起的权重更新量往往具有较低的“本征秩”,即真正有效的调整方向数量远小于矩阵维度。因此可以只训练两个小矩阵的乘积:
原权重: W0 ∈ R^{d×k} (冻结)增量: ΔW = B · A , A ∈ R^{r×k}, B ∈ R^{d×r}, r << min(d, k)前向: h = W0·x + (α / r) · B·(A·x)初始化: A 用小随机值, B 初始化为 0 → 训练起点严格等价于原模型
这个设计带来四个直接收益:
B·A 加回 W0 后前向计算图不变,不引入额外延迟;也可保持分离,用于运行时热切换与多适配器加权融合;全量微调配合类图正则化损失,本质上是“用无约束容量 + 强正则”换取最大拟合能力,代价是必须承担遗忘、产物体积大、一次只能服务一个概念。低秩路线是这条谱系上的中间点:以有限容量换取可组合与低成本。原文提到“只有个别方法是在一系列措施下对原有模型权重进行了破坏性调整,其余方法都是新增结构并锁定原参数”,本质就是在描述这条“容量—遗忘—可组合性”的权衡曲线。
阶段一 数据准备。 实例集覆盖多角度、多光照、多背景,剔除主体占比过低或背景过于抢眼的样本;同时准备同一类别的对照类图集用于正则。数据一致性往往比训练超参更决定成败。
阶段二 训练。 选定可训练参数集合 → 潜空间编码 → 采样时间步并加噪 → 条件编码(含占位向量或低秩旁路)→ 噪声预测 → 主损失 + 可选正则项 → 反向传播只更新增量参数 → 定期以固定种子出图做人工比对 → 早停选优。
阶段三 产物打包。 增量产物通常只有数兆到数十兆字节,元数据需完整记录触发词、模板、学习率、步数、随机种子、基座标识,以支持复现与回滚。
阶段四 推理。
prompt→ 分词 → 注入/替换新 token 嵌入 或 挂载低秩增量→ 文本编码 → 初始化潜变量(由 seed 决定)→ 去噪循环(共 T 步):eps_cond = model(z_t, t, c)eps_uncond = model(z_t, t, ∅)eps_hat = eps_uncond + s · (eps_cond − eps_uncond) # 无分类器引导z_{t-1} = scheduler.step(z_t, eps_hat, t)→ 解码器还原像素 → 后处理(缩放、超分、修复)
引导系数 s 是一个典型的两难旋钮:调大则更贴合提示词但颜色饱和过度、多样性下降;调小则更自然但语义控制变弱。
阶段五 编排与治理。 批量排队与显存分片、结果缓存复用、样例留档、内容合规与安全审查,构成生产化的必要环节。
| 维度 | 文本反转 | 低秩增量适配 | 全量微调 |
|---|---|---|---|
| 是否改动主干权重 | 否 | 旁路增量,可合并 | 是 |
| 可训练参数量 | 极小 | 小 | 全量 |
| 典型数据规模 | 数张至数十张 | 数张至数十张 | 相对更多 |
| 多概念组合能力 | 较强(嵌入可共存) | 中(需加权融合,易冲突) | 弱(一次一个) |
| 灾难性遗忘风险 | 极低 | 低 | 中至高 |
| 产物体积与分发成本 | 极小 | 小 | 大 |
| 细粒度身份保真度 | 较弱 | 较强 | 强 |
| 推理额外开销 | 无 | 合并后无 | 无 |
优势来源必须归因到具体机制,而非笼统的“效果好”:
限制与边界:
可控生成的本质,是在一个已经收敛的巨大函数 approximator 上寻找低成本的“条件扩展接口”。文本反转证明了:既然文本只通过交叉注意力的键值路径影响生成,那么修改语义入口就等价于修改条件,无需触碰主干;低秩适配进一步说明:权重更新若具备低本征秩,就可以用两个小矩阵的乘积承载,从而同时获得参数量、显存、产物体积三方面的压缩,并支持热插拔与组合。
理解这条“入口收敛 — 参数稀疏 — 先验保持 — 可组合分发”的逻辑链,比记住任何一个具体方法的名字都更有价值。它是后续讨论训练实操、模型合并、结构条件控制等主题的共同地基,也是判断一个新方案是否值得采用的第一性标准:它改的是入口还是主干,代价落在容量上还是落在遗忘上。