8G显存训练LoRA:选型、配置到排错

作者:KAKAKA2026.11.17 03:29浏览量:0

简介:8G 显存可以训练 Stable Diffusion 1.5 的 LoRA,SDXL 在 1024 分辨率下建议 12G 以上,4G 不建议尝试。本文按显存和目标选择训练方式,给出素材打标规范、可直接运行的训练命令和参数速查表,并介绍用固定提示词与种子逐阶段出图的验证方法,帮助读者判断过拟合或欠拟合。

一、先选训练方式,再调参数

调参数之前,先确认训练方式是否合适。方式选错,参数调一周也没有用。常见的四种做法对比如下:

方式 素材量 显存门槛 适用场景 风险
Textual Inversion 3–10 张 6G 起 学习一个新的触发词,风格迁移较弱 低
DreamBooth 5–15 张 8–12G 绑定特定人物或物体 容易过拟合、遗忘原模型能力
LoRA 15–40 张 8G 起 人物、画风、题材 低,可插拔
全量微调 100 张以上 24G 以上 领域基座模型 高,容易灾难性遗忘

多数个人创作者的需求,比如固定人物、某种画风或某类题材,用 LoRA 就能满足。DreamBooth 适合绑定某个特定对象,并且需要该对象出现在多种场景中的情况。全量微调的成本高,一般只有团队在训练领域基座模型时才值得投入。

二、显存与分辨率:先确定基座模型

显存需求与训练分辨率基本成正比,而分辨率又取决于基座模型。SD1.5 的原生取样尺寸是 512×512,SDXL 是 1024×1024。训练分辨率明显低于原生尺寸时,模型容易出现结构崩坏和怪图,所以选基座模型时要先确定分辨率。

基座模型 训练分辨率 参考显存 说明
SD1.5 512×512 8G 可用 原生尺寸,是 8G 显存训练 LoRA 的主要场景
SD1.5 768×768 10G 以上更稳妥 细节更好,但显存与耗时明显增加
SDXL 1024×1024 12–16G 起 需要配合分桶与梯度检查点
任意 任意 4G 不建议 训练容易爆显存,效果也难以保证

如果显存只有 6G 或 8G,可以用以下手段压低显存占用:

  • 开启 fp16 混合精度。SDXL 建议改用 bf16,前提是显卡支持;
  • 开启梯度检查点(--gradient_checkpointing),用计算时间换显存;
  • 使用 --cache_latents 预先缓存图片的 latents,训练时不再重复编码;
  • batch size 设为 1,用 --gradient_accumulation_steps 累积梯度,模拟更大的批次;
  • 使用 --use_8bit_adam 换用 8 位优化器。也可以改用 Prodigy,但需要另外安装 prodigyopt,并把学习率设为 1.0 左右;
  • PyTorch 2 默认使用 SDPA 注意力,也可以安装 xformers 进一步降低显存。

三、素材准备与打标

核心原则是图片质量高于图片数量。20 张干净、角度多样、标注准确的图,通常比 100 张混杂、低清的图效果更好。

人物类素材建议覆盖三个维度:

  • 表情:自然、高兴、悲伤、疑惑、忧郁、愤怒、吃惊等;
  • 体态与视角:面部特写、半身、全身,以及正面、左右侧面、背面;
  • 服装与发型:不同服装(裙装、衬衫、大衣)和不同发型(短发、长发、马尾)。

环境类素材注意三点:

  • 光线可以有变化,但脸部轮廓要清楚,不能被遮挡;
  • 主体与背景区分明显,纯色背景最好,避免模型把背景特征学成主体特征;
  • 分辨率尽量统一,长边不低于 768px,裁剪时避免拉伸变形。

打标(caption)的基本规则是:触发词单独写在最前面,其余部分用自然语言描述画面中可见的内容,不描述触发词本身。例如触发词为 ohwx woman,标注可以写成 ohwx woman, white shirt, standing on street, side view。

如果所有图片都使用同一个 instance_prompt,即 DreamBooth 的默认模式,那么每张图的服装、背景和动作都没有区别,模型难以分辨哪些是需要学习的主体特征。每张图需要不同标注时,应把数据整理成包含 metadata.jsonl 的数据集,并通过 --dataset_name 与 --caption_column 指定标注列。

caption dropout 指训练时随机让一部分图片的标注留空,常用取值为 10%–20%,能提高触发词的激活稳定性。这个设置属于 kohya_ss 等训练器,diffusers 的默认训练脚本不提供。

四、环境准备与训练命令

以 Hugging Face diffusers 为例。train_dreambooth_lora.py 位于源码仓库的 examples/dreambooth 目录,不包含在 pip 安装包中,因此需要先克隆仓库:

  1. pip install -U diffusers transformers accelerate peft
  2. git clone https://github.com/huggingface/diffusers
  3. cd diffusers/examples/dreambooth
  4. pip install -r requirements.txt
  5. accelerate config default

数据目录结构如下,图片统一使用同一个触发词时,不需要额外的标注文件:

  1. data/ohwx/
  2. 001.jpg
  3. 002.jpg
  4. ...

SD1.5 在 8G 显存上的训练命令:

  1. export MODEL_NAME="stable-diffusion-v1-5/stable-diffusion-v1-5"
  2. accelerate launch train_dreambooth_lora.py \
  3. --pretrained_model_name_or_path=$MODEL_NAME \
  4. --instance_data_dir=./data/ohwx \
  5. --output_dir=./output/ohwx-lora \
  6. --instance_prompt="ohwx woman" \
  7. --resolution=512 \
  8. --train_batch_size=1 \
  9. --gradient_accumulation_steps=4 \
  10. --learning_rate=1e-4 \
  11. --lr_scheduler="cosine" \
  12. --lr_warmup_steps=100 \
  13. --max_train_steps=2000 \
  14. --rank=32 \
  15. --mixed_precision="fp16" \
  16. --gradient_checkpointing \
  17. --cache_latents \
  18. --use_8bit_adam \
  19. --checkpointing_steps=250 \
  20. --seed=0

训练 SDXL 时,需要替换以下内容:

  • 脚本改为 train_dreambooth_lora_sdxl.py;
  • MODEL_NAME 改为 stabilityai/stable-diffusion-xl-base-1.0;
  • --resolution 改为 1024,--mixed_precision 改为 bf16;
  • 显存需求提高到 12G 以上,显存不足时才调整 batch size 与梯度累积。

训练结束后,LoRA 权重保存在 output_dir 中,文件名为 pytorch_lora_weights.safetensors。--checkpointing_steps 保存的是可续训的训练状态,不适合直接逐个对比 LoRA 效果。需要逐阶段比较时,可以改用 kohya_ss,它的 save_every_n_steps 参数会按步数直接导出 LoRA 文件。

五、关键参数速查

参数 推荐值 说明
learning_rate LoRA 取 1e-4;Prodigy 取 1.0 左右 过高容易烧图,过低则学不动
max_train_steps 1500–2500 可先按公式估算,再用验证出图校准
rank 16–32;风格类可降到 8–16 容量越大,越容易过拟合
lora alpha 通常为 rank 的一半 kohya 中对应 network_alpha
保存间隔 250 步 diffusers 为 --checkpointing_steps,kohya 为 save_every_n_steps
snr gamma 5 diffusers 为 --snr_gamma,kohya 为 min_snr_gamma,素材质量较差时再尝试

总步数可以按以下公式估算:

总步数 ≈ 图片张数 × 每张图的重复次数 × 训练轮数 ÷ 有效批次(batch size × 梯度累积步数)

例如 20 张图、每张重复 10 次、训练 20 轮、有效批次为 4,总步数约为 1000 步。估算结果只能作为起点,最终步数要以验证出图的结果为准。

六、怎么判断训练是否到位

Loss 曲线只能作为参考。Stable Diffusion 的 loss 下降与出图效果之间的关联较弱,单看 loss 很难判断训练好坏。更可靠的做法是固定一组提示词和随机种子,每 250 步出一批图进行对比。这与模型训练中使用验证集的思路一致,比只看训练集拟合程度更有参考价值。

下面的代码可以用来生成验证图。对比不同阶段时,把 LoRA 路径换成对应阶段的权重文件:

  1. import torch
  2. from diffusers import StableDiffusionPipeline
  3. pipe = StableDiffusionPipeline.from_pretrained(
  4. "stable-diffusion-v1-5/stable-diffusion-v1-5",
  5. torch_dtype=torch.float16,
  6. ).to("cuda")
  7. pipe.load_lora_weights("./output/ohwx-lora")
  8. generator = torch.Generator("cuda").manual_seed(42)
  9. image = pipe(
  10. "ohwx woman, standing on street, side view",
  11. generator=generator,
  12. cross_attention_kwargs={"scale": 0.7},
  13. ).images[0]
  14. image.save("check_step_final.png")

判断标准如下:

  • 触发词能稳定激活目标特征,说明欠拟合已经解决;
  • 换成任意提示词都强烈带出目标特征,画面结构也开始崩坏,说明过拟合,应回退到更早的权重;
  • 推理时 LoRA 权重可以先设为 0.6–0.8,再根据效果微调。

七、常见问题排查

现象 可能原因 处理方法
出图模糊、结构错乱 训练分辨率明显低于基座模型的原生尺寸 提高到基座模型的原生尺寸,或使用分桶
什么都像训练对象 过拟合 减少步数,降低 rank,降低推理时的权重
特征学不进去 步数不足、学习率太低或素材差异太小 增加步数,提高学习率,补充素材
背景被一起学走 背景杂乱,或未做打标 更换纯色背景素材,补充背景描述
CUDA out of memory batch size 或分辨率过高 开启梯度检查点,降低 batch size,缓存 latents

八、训练完成后怎么用

LoRA 训练完成后,导出的 .safetensors 文件可以在 WebUI 或 ComfyUI 中加载,也可以封装成推理服务对外提供接口。

自训练适合以下情况:需要定制图像风格、训练数据不能离开本地环境、调用量稳定。主要成本是 GPU 时长和运维。

如果需求主要是文本生成、问答或智能体编排,直接调用托管模型通常更省事,按调用量付费,试错成本低。

建议的顺序是:先用现成模型和提示词工程确认需求真实存在,再投入素材采集和训练。上线后,可以把效果不佳的生成样本筛选出来加入训练集,持续迭代模型效果。