简介:本教程讲解提示词Skill怎么做:把一句想法通过结构化模板扩写为可用长提示词,并用FLUX.1-schnell出图。读者将获得可复制脚本、negative_prompt适用条件、显存口径、依赖回退、验证清单与排错方法,降低出图随机性。
很多开发者在做文生图应用时都会遇到一个问题:模型能力并不差,但同一句想法今天生成正常,明天却明显跑偏。原因通常不是模型不够强,而是提示词太短、太随意,缺少任务、布局、主体、光影、材质、镜头、文字控制等结构信息。
所谓提示词Skill,可以理解为一种可安装、可复用、可版本管理的“提示词增强技能”。它并不一定意味着由大模型实时理解任意语义,也可以是通过本地脚本触发结构化模板,把一句简单想法自动整理成模型更容易理解的长提示词。
本文采用可核验的开源方案:使用 FLUX.1-schnell 模型、Hugging Face Diffusers 库,并把提示词Skill实现为本地技能文件 skills/image-prompt/SKILL.md。FLUX.1-schnell 的官方仓库为 black-forest-labs/FLUX.1-schnell,官方页面标注其权重采用 Apache-2.0 许可;Diffusers 库为 Apache-2.0 许可。实际商用前,仍建议再次核对模型卡、仓库 LICENSE 文件和商用条款。
本文的重点不是制造“完全自动语义理解”的假象,而是给出一套可复现、可修改、可排查的结构化提示词方案:用模板把想法拆成字段,再用脚本统一输出。
结论先说:结构化提示词比短提示词更稳定,因为它减少了模型自由发挥的空间,让构图、质感、风格和内容边界更接近预期。
原始想法:
雪景中的古装人物半身像,写实风格。
经过提示词Skill扩写后:
Use: photorealistic cinematic portrait.
Layout: centered-right subject, left negative space.
Subject: ancient Chinese costume character, half-body, wind-blown fabric, natural expression.
Lighting and materials: overcast morning soft light, visible skin texture, silk reflections, snow particles, realistic depth of field.
Text: no generated text; reserve top-left clean area.
Quality: sharp focus, natural color, no plastic skin.
这段扩写结果包含五类关键信息:
photorealistic cinematic portrait,明确画面类型是写实电影感人像;这样的提示词比一句“雪景古装人像”更稳定,因为它把模糊想法变成了可执行字段。模型不需要猜测用户到底要“古风海报”还是“写实摄影”,也不需要自行决定主体是否偏右、是否留白。
建议满足以下条件:
512×512 或 768×768,建议至少 12GB 显存;1024×1024,建议至少 24GB 显存,并开启 CPU offload;4096×4096 属于约 16MP 的大分辨率输出,显存和内存压力会明显上升,不建议普通消费级显卡直接尝试。这里的 12GB、24GB 显存建议,测量口径为:FLUX.1-schnell 默认权重、bfloat16 或可用精度、无额外量化、无 LoRA、无 ControlNet、仅单张生成 512、768 或 1024 分辨率。实际占用会受 CUDA 驱动、显存碎片、批大小、缓存策略和系统环境影响。
在项目根目录执行:
python -m pip install -U pippython -m pip install torch==2.5.1 torchvision==0.20.1 --index-url https://download.pytorch.org/whl/cu124python -m pip install diffusers==0.31.0 transformers==4.48.3 accelerate==1.2.1 safetensors==0.4.5
这组固定版本的前提是:NVIDIA 驱动支持 CUDA 12.4,PyTorch 版本与 Diffusers 版本经过兼容性验证。如果安装失败,可以按以下顺序回退:
python -m pip show torch diffusers transformers accelerate
先确认依赖是否安装成功。如果 CUDA 版本不匹配,可先运行:
nvidia-smi
查看驱动支持的 CUDA 版本。如果没有 NVIDIA GPU,或暂时不想配置 CUDA,可以改用 CPU 版本 PyTorch:
python -m pip install torch==2.5.1 torchvision==0.20.1 --index-url https://download.pytorch.org/whl/cpu
CPU 模式可以跑通流程,但生成速度会非常慢。若只是验证脚本逻辑,可以先用 CPU 模式确认提示词扩写是否成功,再迁移到 GPU 环境出图。
执行以下命令创建技能目录和技能文件:
mkdir -p skills/image-promptcat > skills/image-prompt/SKILL.md <<'EOF'# 提示词Skill:图像生成扩写技能目标:把一句自然语言想法通过结构化模板扩写为长提示词。规则:1. 先写用途,再写布局;2. 明确主体、动作、神态;3. 补充光影、材质、镜头感;4. 如果需要文字,单独说明文字位置;不需要时明确禁止生成文字;5. 保持提示词简洁、具体、可执行。输出格式:Use: ...Layout: ...Subject: ...Lighting and materials: ...Text: ...Quality: ...EOF
验证文件是否创建成功:
ls skills/image-prompt
预期输出中应出现:
SKILL.md
下面这个 expand.py 不再只打印固定模板,而是真正读取 sys.argv[1],并根据输入想法中的关键词生成结构化字段。这样即使不依赖 AI 编程助手,也可以完成基础的结构化扩写。
cat > skills/image-prompt/expand.py <<'EOF'import sysidea = sys.argv[1] if len(sys.argv) > 1 else "雪景中的古装人物半身像,写实风格"def build_prompt(idea):# 结构化模板:输入想法 -> 固定字段if any(k in idea for k in ["写实", "照片", "电影感"]):use = "photorealistic cinematic portrait"else:use = "cinematic illustration"if any(k in idea for k in ["半身", "人像", "人物"]):layout = "centered-right subject, left negative space"else:layout = "balanced composition"subject = f"{idea}; clear anatomy, natural expression, coherent details"lighting = ["soft natural light"]if "雪" in idea:lighting.append("cold snow ambient, snow particles")if "古装" in idea:lighting.append("ancient Chinese costume fabric")if "夜景" in idea or "夜" in idea:lighting.append("night atmosphere")if "文字" in idea:text = "reserve clean area for post-editing text"else:text = "no generated text; keep left side clean"quality = "sharp focus, natural color, realistic texture, no plastic skin"return "\n".join([f"Use: {use}",f"Layout: {layout}",f"Subject: {subject}","Lighting and materials: " + ", ".join(lighting),f"Text: {text}",f"Quality: {quality}",])print(build_prompt(idea))EOF
运行扩写:
python skills/image-prompt/expand.py "雪景中的古装人物半身像,写实风格"
如果终端输出包含 Use:、Layout:、Subject、Lighting and materials:、Text:、Quality: 等字段,说明提示词Skill已经生效。
需要说明的是,这个脚本是规则模板,不是大模型语义理解。它的优点是稳定、可复现、可修改;如果你要处理更复杂的自然语言意图,可以在后续接入本地或云端大模型,但生产环境仍应保留模板兜底和参数校验。
mkdir -p outputs
下面脚本默认不依赖 negative_prompt,避免不同 Diffusers 版本、不同 FLUX 管线对负向提示支持不一致的问题。如果你确认当前管线支持真正的 CFG 负向提示,再按下文说明启用。
cat > generate.py <<'EOF'import torchfrom diffusers import FluxPipelinepipe = FluxPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell",torch_dtype=torch.bfloat16 if torch.cuda.is_available() else torch.float32,)pipe.enable_model_cpu_offload()prompt = """Use: photorealistic cinematic portrait.Layout: centered-right subject, left negative space.Subject: ancient Chinese costume character, half-body, wind-blown fabric, natural expression.Lighting and materials: overcast morning soft light, visible skin texture, silk reflections, snow particles, realistic depth of field.Text: no generated text; reserve top-left clean area.Quality: sharp focus, natural color, no plastic skin."""negative_prompt = Noneuse_true_cfg = False# 如果你确认当前 Diffusers 的 FLUX 管线支持 true CFG,可以改成:# negative_prompt = "plastic skin, over-smoothed, deformed hands, extra fingers, watermark, text artifacts"# use_true_cfg = Truegenerator = torch.Generator("cpu").manual_seed(42)call_kwargs = {"prompt": prompt,"height": 1024,"width": 1024,"guidance_scale": 0.0,"num_inference_steps": 4,"max_sequence_length": 256,"generator": generator,}if negative_prompt is not None:call_kwargs["negative_prompt"] = negative_promptif use_true_cfg:call_kwargs["true_cfg_scale"] = 1.5image = pipe(**call_kwargs).images[0]image.save("outputs/snow_portrait.png")print("Saved: outputs/snow_portrait.png")EOF
在 FLUX.1-schnell 的常见少步数示例中,guidance_scale 通常设置为 0.0。这类配置下,传统意义上的 negative_prompt 不一定像 Stable Diffusion 那样默认强制生效。部分 FLUX 管线需要通过 true_cfg_scale 才能启用真正的 classifier-free guidance;如果你的 Diffusers 版本支持该参数,可以设置 true_cfg_scale 大于 1.0,例如 1.5。
如果不确定当前管线是否支持,最稳妥做法是:
negative_prompt,把负面要求改写到正向提示词的 Quality 字段;true_cfg_scale;negative_prompt,模型就一定会严格执行。
python generate.py
成功后,终端会输出:
Saved: outputs/snow_portrait.png
可以用以下命令检查文件:
python -c "import os; print(os.path.getsize('outputs/snow_portrait.png'))"
如果返回一个正整数,说明图像文件已经生成。
height 和 width:示例使用 1024。如果显存不足,可以先改成 512 或 768;guidance_scale:FLUX.1-schnell 示例中通常设置为 0.0,这是该类少步数模型的常见用法,不应机械套用到所有模型;num_inference_steps:示例使用 4 步。少步数是 FLUX.1-schnell 的特点,不是所有开源模型都适用;max_sequence_length:示例设置为 256,适合文本编码器长度预算;seed:示例使用 42。固定随机种子便于复现结果;4096×4096 是约 16MP 的大图,不建议在普通显存不足的设备上直接尝试,应优先通过量化、分块、CPU offload 或降低分辨率解决。再次强调:12GB 与 24GB 的显存建议,基于默认权重、bfloat16、无量化、无额外插件、仅生成 512、768 或 1024 分辨率。如果你启用 LoRA、ControlNet、放大模型或多图批处理,显存需求会明显上升。
为了让结果更稳定,建议每次出图前都检查以下字段:
如果提示词已经被正确扩写,但结果仍不理想,问题通常来自分辨率、采样步数、参考图质量、模型能力边界,而不是提示词本身。
生成完成后,建议按以下清单逐项检查:
outputs/snow_portrait.png 是否存在,文件大小是否大于 0;如果构图、文字、皮肤纹理、雪花细节和复现参数五项都通过,说明提示词Skill和出图流程已经基本可用。
检查是否存在 skills/image-prompt/SKILL.md 和 skills/image-prompt/expand.py。执行:
ls skills/image-prompt
如果看不到文件,重新创建技能文件和脚本。然后再次运行:
python skills/image-prompt/expand.py "雪景中的古装人物半身像,写实风格"
确认输出不是固定文本,而是根据输入想法生成结构化字段。
常见原因是 PyTorch 版本、CUDA 版本或网络环境不匹配。可以先运行:
python -m pip show torch diffusers transformers accelerate
确认依赖是否安装成功。若 CUDA 版本不匹配,优先检查 nvidia-smi、显卡驱动和 PyTorch 安装命令中的 CUDA 版本。若只是临时验证,可以回退到 CPU 版 PyTorch,或移除固定版本号后安装较新组合,但每次更换版本后都需要重新测试生成流程。
如果报 CUDA out of memory,可以降低分辨率:
height=512,width=512,
或者保持 1024,但确保启用了:
pipe.enable_model_cpu_offload()
也可以关闭其他占用显存的程序,减少批大小,或者先生成小图再通过后处理放大。
可以在提示词中增加:
visible skin texture, natural pores, subtle fabric fibers, realistic material reflections
同时避免把提示词写成“极简、干净、平滑、海报感”等过度抽象的词。这些词虽然听起来高级,但可能会让模型牺牲真实纹理。
如果不需要文字,应在提示词中明确:
Text: no generated text; reserve top-left clean area.
如果你希望负向提示参与,并且确认当前 FLUX 管线支持,可以尝试:
text artifacts, watermark, letters
如果必须出现中文文字,建议后期用设计工具叠加,而不是完全依赖模型生成。模型生成文字,尤其是中文长句,仍然容易出现字形错误。
不要默认所有 FLUX 管线都会强制执行负向提示。建议先删除 negative_prompt,把要求写入正向提示词。若必须使用,需要确认 Diffusers 版本是否支持 true_cfg_scale,并在调用时显式启用。
使用开源图像生成模型时,需要同时关注技术许可和内容合规:
建议商用前至少核验三处信息:模型卡中的许可证说明、仓库根目录的 LICENSE 文件、数据集或附加条款中的使用限制。开源许可并不等于无条件商用,仍需结合业务场景判断。
提示词Skill的价值在于把提示词工程从“个人经验”变成“可复用规则”。一句简单的想法,经过结构化扩写后,可以稳定输出包含用途、布局、主体、光影、材质和文字要求的长提示词。配合 FLUX.1-schnell 和 Diffusers,开发者可以完整跑通从安装、扩写、出图到验证的流程。
实际使用时,应优先保证参数可复现、许可证可核验,并根据显存条件合理选择分辨率与采样步数。对于 negative_prompt、固定版本依赖、显存占用等关键项,不要只看单一示例,而要结合自己的环境、模型版本和输出目标进行验证。