简介:8G 显存可以训练 Stable Diffusion 1.5 的 LoRA,SDXL 在 1024 分辨率下建议 12G 以上,4G 不建议尝试。本文按显存和目标选择训练方式,给出素材打标规范、可直接运行的训练命令和参数速查表,并介绍用固定提示词与种子逐阶段出图的验证方法,帮助读者判断过拟合或欠拟合。
调参数之前,先确认训练方式是否合适。方式选错,参数调一周也没有用。常见的四种做法对比如下:
| 方式 | 素材量 | 显存门槛 | 适用场景 | 风险 |
|---|---|---|---|---|
| Textual Inversion | 3–10 张 | 6G 起 | 学习一个新的触发词,风格迁移较弱 | 低 |
| DreamBooth | 5–15 张 | 8–12G | 绑定特定人物或物体 | 容易过拟合、遗忘原模型能力 |
| LoRA | 15–40 张 | 8G 起 | 人物、画风、题材 | 低,可插拔 |
| 全量微调 | 100 张以上 | 24G 以上 | 领域基座模型 | 高,容易灾难性遗忘 |
多数个人创作者的需求,比如固定人物、某种画风或某类题材,用 LoRA 就能满足。DreamBooth 适合绑定某个特定对象,并且需要该对象出现在多种场景中的情况。全量微调的成本高,一般只有团队在训练领域基座模型时才值得投入。
显存需求与训练分辨率基本成正比,而分辨率又取决于基座模型。SD1.5 的原生取样尺寸是 512×512,SDXL 是 1024×1024。训练分辨率明显低于原生尺寸时,模型容易出现结构崩坏和怪图,所以选基座模型时要先确定分辨率。
| 基座模型 | 训练分辨率 | 参考显存 | 说明 |
|---|---|---|---|
| SD1.5 | 512×512 | 8G 可用 | 原生尺寸,是 8G 显存训练 LoRA 的主要场景 |
| SD1.5 | 768×768 | 10G 以上更稳妥 | 细节更好,但显存与耗时明显增加 |
| SDXL | 1024×1024 | 12–16G 起 | 需要配合分桶与梯度检查点 |
| 任意 | 任意 | 4G 不建议 | 训练容易爆显存,效果也难以保证 |
如果显存只有 6G 或 8G,可以用以下手段压低显存占用:
fp16 混合精度。SDXL 建议改用 bf16,前提是显卡支持;--gradient_checkpointing),用计算时间换显存;--cache_latents 预先缓存图片的 latents,训练时不再重复编码;--gradient_accumulation_steps 累积梯度,模拟更大的批次;--use_8bit_adam 换用 8 位优化器。也可以改用 Prodigy,但需要另外安装 prodigyopt,并把学习率设为 1.0 左右;核心原则是图片质量高于图片数量。20 张干净、角度多样、标注准确的图,通常比 100 张混杂、低清的图效果更好。
人物类素材建议覆盖三个维度:
环境类素材注意三点:
打标(caption)的基本规则是:触发词单独写在最前面,其余部分用自然语言描述画面中可见的内容,不描述触发词本身。例如触发词为 ohwx woman,标注可以写成 ohwx woman, white shirt, standing on street, side view。
如果所有图片都使用同一个 instance_prompt,即 DreamBooth 的默认模式,那么每张图的服装、背景和动作都没有区别,模型难以分辨哪些是需要学习的主体特征。每张图需要不同标注时,应把数据整理成包含 metadata.jsonl 的数据集,并通过 --dataset_name 与 --caption_column 指定标注列。
caption dropout 指训练时随机让一部分图片的标注留空,常用取值为 10%–20%,能提高触发词的激活稳定性。这个设置属于 kohya_ss 等训练器,diffusers 的默认训练脚本不提供。
以 Hugging Face diffusers 为例。train_dreambooth_lora.py 位于源码仓库的 examples/dreambooth 目录,不包含在 pip 安装包中,因此需要先克隆仓库:
pip install -U diffusers transformers accelerate peftgit clone https://github.com/huggingface/diffuserscd diffusers/examples/dreamboothpip install -r requirements.txtaccelerate config default
数据目录结构如下,图片统一使用同一个触发词时,不需要额外的标注文件:
data/ohwx/001.jpg002.jpg...
SD1.5 在 8G 显存上的训练命令:
export MODEL_NAME="stable-diffusion-v1-5/stable-diffusion-v1-5"accelerate launch train_dreambooth_lora.py \--pretrained_model_name_or_path=$MODEL_NAME \--instance_data_dir=./data/ohwx \--output_dir=./output/ohwx-lora \--instance_prompt="ohwx woman" \--resolution=512 \--train_batch_size=1 \--gradient_accumulation_steps=4 \--learning_rate=1e-4 \--lr_scheduler="cosine" \--lr_warmup_steps=100 \--max_train_steps=2000 \--rank=32 \--mixed_precision="fp16" \--gradient_checkpointing \--cache_latents \--use_8bit_adam \--checkpointing_steps=250 \--seed=0
训练 SDXL 时,需要替换以下内容:
train_dreambooth_lora_sdxl.py;MODEL_NAME 改为 stabilityai/stable-diffusion-xl-base-1.0;--resolution 改为 1024,--mixed_precision 改为 bf16;训练结束后,LoRA 权重保存在 output_dir 中,文件名为 pytorch_lora_weights.safetensors。--checkpointing_steps 保存的是可续训的训练状态,不适合直接逐个对比 LoRA 效果。需要逐阶段比较时,可以改用 kohya_ss,它的 save_every_n_steps 参数会按步数直接导出 LoRA 文件。
| 参数 | 推荐值 | 说明 |
|---|---|---|
| learning_rate | LoRA 取 1e-4;Prodigy 取 1.0 左右 | 过高容易烧图,过低则学不动 |
| max_train_steps | 1500–2500 | 可先按公式估算,再用验证出图校准 |
| rank | 16–32;风格类可降到 8–16 | 容量越大,越容易过拟合 |
| lora alpha | 通常为 rank 的一半 | kohya 中对应 network_alpha |
| 保存间隔 | 250 步 | diffusers 为 --checkpointing_steps,kohya 为 save_every_n_steps |
| snr gamma | 5 | diffusers 为 --snr_gamma,kohya 为 min_snr_gamma,素材质量较差时再尝试 |
总步数可以按以下公式估算:
总步数 ≈ 图片张数 × 每张图的重复次数 × 训练轮数 ÷ 有效批次(batch size × 梯度累积步数)
例如 20 张图、每张重复 10 次、训练 20 轮、有效批次为 4,总步数约为 1000 步。估算结果只能作为起点,最终步数要以验证出图的结果为准。
Loss 曲线只能作为参考。Stable Diffusion 的 loss 下降与出图效果之间的关联较弱,单看 loss 很难判断训练好坏。更可靠的做法是固定一组提示词和随机种子,每 250 步出一批图进行对比。这与模型训练中使用验证集的思路一致,比只看训练集拟合程度更有参考价值。
下面的代码可以用来生成验证图。对比不同阶段时,把 LoRA 路径换成对应阶段的权重文件:
import torchfrom diffusers import StableDiffusionPipelinepipe = StableDiffusionPipeline.from_pretrained("stable-diffusion-v1-5/stable-diffusion-v1-5",torch_dtype=torch.float16,).to("cuda")pipe.load_lora_weights("./output/ohwx-lora")generator = torch.Generator("cuda").manual_seed(42)image = pipe("ohwx woman, standing on street, side view",generator=generator,cross_attention_kwargs={"scale": 0.7},).images[0]image.save("check_step_final.png")
判断标准如下:
| 现象 | 可能原因 | 处理方法 |
|---|---|---|
| 出图模糊、结构错乱 | 训练分辨率明显低于基座模型的原生尺寸 | 提高到基座模型的原生尺寸,或使用分桶 |
| 什么都像训练对象 | 过拟合 | 减少步数,降低 rank,降低推理时的权重 |
| 特征学不进去 | 步数不足、学习率太低或素材差异太小 | 增加步数,提高学习率,补充素材 |
| 背景被一起学走 | 背景杂乱,或未做打标 | 更换纯色背景素材,补充背景描述 |
| CUDA out of memory | batch size 或分辨率过高 | 开启梯度检查点,降低 batch size,缓存 latents |
LoRA 训练完成后,导出的 .safetensors 文件可以在 WebUI 或 ComfyUI 中加载,也可以封装成推理服务对外提供接口。
自训练适合以下情况:需要定制图像风格、训练数据不能离开本地环境、调用量稳定。主要成本是 GPU 时长和运维。
如果需求主要是文本生成、问答或智能体编排,直接调用托管模型通常更省事,按调用量付费,试错成本低。
建议的顺序是:先用现成模型和提示词工程确认需求真实存在,再投入素材采集和训练。上线后,可以把效果不佳的生成样本筛选出来加入训练集,持续迭代模型效果。