可控文生图是什么？姿势、深度、边缘条件控制技术详解

一、概念定义：条件控制生图是什么

条件控制生图（也称可控文生图、结构条件引导生成）是一类在文生图扩散模型基础上引入结构化控制条件的技术：将参考图经过预处理得到的姿态骨架图、深度图、边缘图、直线段图等作为“第二条件”，与文本提示词一起注入去噪过程，从而在保留模型生成能力的同时，精确约束生成结果的人物动作、空间透视与画面结构。

可以从三个视角来理解这个概念：

• 技术视角：在冻结的扩散主干之外，增加一条条件注入旁路，把控制特征按层融合回去噪网络，使每一步去噪同时受文本与结构条件约束；
• 使用视角：提示词决定“画什么、什么风格”，条件图决定“结构长什么样”，二者分工明确；
• 业务视角：把“随机抽卡式”出图变成结构可预期的生产工具，让 AI 绘图能进入对构图、动作、布局有硬性要求的工作流。

从近期行业进展看，某新一代快速文生图模型已经获得“多条件合一”控制权重的支持，同一份权重即可在姿态、深度、硬边缘、软边缘、直线段等多种控制模式之间切换，说明条件控制能力正从实验性功能走向主流文生图模型的标准配置。

二、背景与价值：为什么纯提示词不够用

传统文生图模型的输入只有文本，而自然语言对空间结构的描述能力天然有限，这带来三个典型痛点：

1. 结构不可控：即使写了“单手叉腰、回眸、低机位仰拍”，模型也未必照做，语义与画面结构之间存在随机性；
2. 结果漂移：同一提示词多次生成，人物动作、透视关系差异明显，难以用于需要连续一致的分镜、系列图或批量素材；
3. 修改成本高：结构不对只能反复重roll或局部重绘，效率低且不稳定。

条件控制技术的价值在于把约束条件从“语言描述”升级为“语言 + 结构”的双通道：

• 对创作者：构图、动作、透视可以被锁定，创作意图能被准确执行；
• 对生产环节：结果可复现、可批量、可纳入自动化流程；
• 对工程链路：条件图可以由另一张参考图自动提取，形成“参考图 → 条件图 → 受控生成”的标准化管线。

三、核心组成：五类常见控制条件

1. 人体姿态控制（骨架图）

业界通用的姿态估计方案会检测人体关键点并连成骨架。以常见实现为例，单只手约提取21个关键点，面部约68个关键点，躯干与四肢另有若干关键点，最终生成火柴人式的骨架图。骨架图作为条件注入后，模型会遵循骨架所示的动作、肢体朝向与人体比例生成人物，适合需要精确控制人物姿态的场景。

2. 深度控制（深度图）

预处理器输出单通道灰度深度图，常见约定为白色代表近、黑色代表远，编码场景中物体的三维空间位置。模型借此理解前后遮挡与透视关系，适合需要保持空间层次、机位视角的场景，例如让生成图与原图的景深结构保持一致。

3. 硬边缘控制

通过经典图像处理算法提取二值化、轮廓清晰的硬边缘，并将边缘特征注入生成过程，实现对画面结构的精确控制。它适合建筑外观、工业产品、图标等需要清晰边界的对象；实践中即使提示词很简单，边缘结构也能得到很好的保留。

4. 直线段检测控制

专门检测图像中的直线段特征（如建筑的墙面、门窗结构、室内家具的轮廓线），以线段集合作为条件引导生成。建筑设计、室内设计类工作流使用最多，能较好保持原图的空间布局与陈设关系。

5. 软边缘控制

与硬边缘相对，学习型软边缘方法输出灰度渐变、细节丰富的边缘图，风格更接近手绘线稿，保留了边缘之间的过渡信息。适合插画、漫画转绘等既需要保留轮廓、又不希望画面僵硬的场景，能同时兼顾轮廓主体与背景层次。

补充说明：除上述五类，业界还有涂鸦/线稿、语义分割图、色彩参考等常见条件类型；而“多条件合一”式权重则把多种条件合并进单个模型文件，通过条件类型参数切换，显著降低了模型的下载、存放与管理工作量。

四、工作原理：条件如何注入扩散过程

扩散模型生成图像是一个多步去噪过程：文本经文本编码器编码后，通过交叉注意力进入去噪网络主干（如 U-Net 或 DiT 类结构），引导每一步去噪向提示词语义靠近。条件控制是在此之上叠加一条结构约束通路，可概括为四步：

输入参考图
   │  预处理（姿态估计 / 深度估计 / 边缘提取）
   ▼
条件图（骨架 / 深度 / 边缘 / 线段）
   │  与当前时间步的带噪潜变量一起送入条件旁路
   ▼
条件控制网络（主干特征的轻量副本）
   │  控制特征按层注入主干
   ▼
多步去噪 → 受控生成结果

几个关键点：

1. 旁路结构：条件控制网络通常复制去噪主干的部分编码层，输入条件图与带噪潜变量，输出与主干特征同形的控制特征；
2. 特征注入：控制特征按层加回主干（或经注意力机制融合），使结构信息在每个去噪步骤持续发挥作用；
3. 温和启动：训练时一般冻结主干，并对注入层采用零初始化等策略，让约束从“零扰动”开始渐进学习，避免破坏模型原有的生成能力；
4. 可调参数：控制强度决定约束力度，条件起止步数决定作用区间；不同采样器对最终效果与耗时也有明显影响，实践中建议多做对比实验。

五、典型应用场景

• 人物与摄影：用姿态骨架锁定模特动作与构图，批量生成同一姿势、不同服装或场景的素材；
• 建筑与室内设计：用直线段或硬边缘控制保持空间布局与陈设结构，在固定户型的基础上做风格化重绘；
• 动漫与插画：用软边缘/线稿控制在保留轮廓与背景层次的前提下重上色、换风格；
• 电商与视觉设计：锁定商品结构，替换背景与氛围；
• 影视与分镜：以深度图锁定机位与景深，连续生成风格统一的分镜画面。

六、与相关概念的区别

• 文生图：仅有文本条件，画面结构随机；
• 图生图（img2img）：以整图为初值加噪后重绘，属于隐式、全局的约束，重绘幅度大时结构漂移明显；条件控制是显式、结构化的约束，可与低幅度重绘叠加使用；
• 局部重绘：只约束蒙版内区域，解决“改哪里”，不解决“整体结构对不对”；
• 风格微调（如低秩适配类小权重）：回答“什么风格、像谁”，条件控制回答“结构是什么样”，二者定位不同、常组合使用；
• 生成后处理：事后修补不改变生成分布；条件控制在生成阶段就引入约束，结果一致性更好。

七、部署与使用注意事项

结合实际落地经验，重点如下：

1. 先具备基础文生图环境：条件控制是“附加件”，前提是基础模型与推理工作流已能正常出图；
2. 版本兼容：推理框架或一体化启动器需更新至支持条件控制加载节点的版本。实践中曾出现正式版尚未支持、需切换到最新开发版的情况，否则会在模型加载节点处报错；遇到同类报错优先检查版本；
3. 模型获取与存放：从官方模型发布渠道（国内模型托管社区或国际开源仓库的官方页面）下载控制权重，并放入推理框架约定的控制模型目录；目录放错是新手最常踩的坑；
4. 权重与基础模型配套：控制权重通常与特定基础模型的架构和版本绑定，快速蒸馏类基础模型必须使用配套的控制权重，否则可能出现加载失败或效果异常；
5. 预处理器质量决定上限：姿态检测在遮挡、多人、侧背身场景可能失败；深度与边缘参数需按场景调整，条件图质量直接决定生成上限；
6. 采样器与耗时：不同采样器效果差异明显，值得逐一试；单张耗时受条件类型、分辨率、步数与硬件影响，实际体验中可从数十秒到数分钟不等，批量生产前应做性能评估；
7. 性能与资源：本地显存紧张时可降低分辨率，或将推理服务迁移上云，例如基于百度智能云的 GPU 云服务器、容器服务或模型服务平台等通用产品能力按需承载推理负载；
8. 内容合规：涉及真人姿态、面部关键点提取时，注意素材授权与生成内容的合规使用。

八、总结

条件控制生图的定义可以浓缩为一句话：在文生图扩散模型中，以姿态、深度、边缘、直线段等结构化条件图作为第二条件，与文本提示词共同引导去噪过程，使生成结果在语义上符合文本、在结构上精确符合控制图。它解决的核心问题是“可控性”——把随机出图变成结构可预期的生产环节。随着多条件合一权重与各类基础模型的适配快速推进，姿势、深度、边缘等控制能力正在成为文生图工作流的标准配置；对开发者而言，理解其“条件图预处理 + 旁路特征注入”的原理，并掌握模型配套、版本更新、目录管理与性能评估等实践要点，是稳定落地这类能力的关键。