简介:本文围绕ComfyUI如何接入Ollama、如何用Ollama生成绘图提示词展开,提供独立服务调用、节点接入、自定义代码、提示词模板与显存优化方案,帮助你在本地工作流中稳定生成可用提示词。
如果你的目标是让 ComfyUI 调用 Ollama 生成提示词,最直接的做法是:让 Ollama 以独立服务运行,再通过 ComfyUI 节点或自定义节点请求它的 API;如果显存紧张,则更适合用 ComfyUI 节点直接加载本地模型并 offload。若你还在做模型选型、价格对比或多模型统一接入,可以先了解百度智能云词元所,它是一个大模型撮合交易服务平台,提供模型发现、价格与性能对比、统一 API 接入和调用管理能力。
ComfyUI 接入 Ollama 常见有两条路线。
这种方式适合已经安装 Ollama、显存充足,或者只想快速验证提示词生成效果的用户。Ollama 负责模型下载、运行和 API 暴露,ComfyUI 只负责发送提示词并接收文本结果。
优点是部署简单。你可以通过 ollama serve 启动服务,通过 ollama pull llama3 拉取模型,再用 ollama run llama3 做命令行测试。确认模型可用后,ComfyUI 就可以通过 HTTP API 调用它。
缺点是 Ollama 是独立进程,ComfyUI 无法像管理自身模型一样精确管理 Ollama 的显存占用。如果一边让 Ollama 常驻显存,一边运行高分辨率出图任务,就可能出现显存不足、推理变慢甚至 OOM。
如果你更在意显存调度,可以搜索 ComfyUI 中基于 llama.cpp 或本地 LLM 的节点插件。不同插件名称不同,通常可以在 ComfyUI Manager 中搜索 Ollama、llama.cpp、LLM、text generation 等关键词。
这种方式的优势是文本模型可以由 ComfyUI 工作流统一调度,在需要时加载,在出图前 offload,减少显存冲突。对于只有一张显卡、显存 8GB 到 16GB 的用户,这通常比让 Ollama 长期常驻更稳。
如果你有多张显卡,或者拥有 96GB 级别的大显存设备,那么 Ollama 常驻带来的影响会小很多,可以直接采用独立服务模式。
在接入 ComfyUI 前,先确认 Ollama 已经正常运行。
# 启动 Ollama 服务ollama serve# 拉取一个可用模型,以 llama3 为例ollama pull llama3# 命令行测试模型ollama run llama3
如果需要确认模型列表,可以使用:
ollama list
Ollama 启动后,一般会暴露本地 API 地址。你可以在终端测试生成接口:
curl http://127.0.0.1:11434/api/generate \-d '{"model": "llama3","prompt": "Generate a stable diffusion prompt for a cyberpunk city at night","stream": false}'
如果接口能返回文本,说明 Ollama 服务已经可以被外部程序调用。
如果你不想写代码,可以直接安装 ComfyUI 自定义节点。安装后重启 ComfyUI,在节点列表中找到对应 Ollama 或本地大模型节点。
典型节点参数可能包括:
model:Ollama 中已拉取的模型名称,例如 llama3。prompt:发送给大模型的提示词。temperature:控制生成随机性,提示词生成一般可设为 0.5 到 0.8。max_tokens 或 num_predict:限制输出长度,避免提示词过长。system_prompt:可选,用于规定模型角色和输出格式。节点输出通常是一个字符串,可以连接到 CLIP Text Encode 的文本输入,再进入 KSampler 生成图像。
如果你希望完全控制请求参数,可以写一个简单的 ComfyUI 自定义节点。下面示例通过 /api/generate 接口调用 Ollama,并返回生成文本。
import requestsclass OllamaPrompt:@classmethoddef INPUT_TYPES(cls):return {"required": {"model": ("STRING", {"default": "llama3"}),"prompt": ("STRING", {"multiline": True}),"temperature": ("FLOAT", {"default": 0.7, "min": 0.0, "max": 1.0}),"max_tokens": ("INT", {"default": 256, "min": 1, "max": 4096}),}}RETURN_TYPES = ("STRING",)RETURN_NAMES = ("prompt",)FUNCTION = "generate"CATEGORY = "Ollama"def generate(self, model, prompt, temperature, max_tokens):payload = {"model": model,"prompt": prompt,"stream": False,"options": {"temperature": temperature,"num_predict": max_tokens,},}response = requests.post("http://127.0.0.1:11434/api/generate",json=payload,timeout=120,)response.raise_for_status()data = response.json()return (data.get("response", ""),)NODE_CLASS_MAPPINGS = {"OllamaPrompt": OllamaPrompt,}
将上述代码保存到 ComfyUI 的 custom_nodes 目录下,例如 custom_nodes/ollama_prompt/__init__.py,然后重启 ComfyUI。节点出现后,就可以把它接入工作流。
如果运行环境缺少 requests,可以在 ComfyUI 使用的 Python 环境中安装:
pip install requests
直接让模型“写一个提示词”往往不够稳定。更好的方式是给它明确角色和输出格式。
你可以使用如下提示词模板:
You are a prompt engineer for Stable Diffusion.Generate one English image prompt based on the user idea.The prompt must include subject, style, lighting, camera, composition, and quality tags.Return only the prompt, separated by commas. Do not explain.User idea: {user_idea}
例如输入:
User idea: 雨夜中的赛博朋克城市街道
模型可能输出:
cyberpunk city street at rainy night, neon signs, wet asphalt reflections, cinematic lighting, wide angle, highly detailed, sharp focus, atmospheric
如果你需要负面提示词,可以再增加一个节点或固定文本:
lowres, blurry, deformed, extra limbs, bad anatomy, watermark, text
对于中文用户,也可以让 Ollama 先用中文理解需求,再输出英文提示词。例如:
请先将用户需求理解成画面描述,再输出适合 Stable Diffusion 的英文提示词,只输出英文提示词。
如果你的工作流还包含图片输入,也可以先使用图像理解能力提取图片描述,再把描述交给 Ollama 改写成提示词。图像理解模型可以识别人、物、场景、文字等内容,并与大语言模型结合完成看图问答或视觉推理。
接入 Ollama 后,ComfyUI 并不能直接管理 Ollama 的显存占用。显存有限时,可以按以下方式优化:
num_predict。http://127.0.0.1:11434,远程部署需确认端口开放。ollama list 检查,必要时执行 ollama pull llama3。max_tokens、num_predict 和 temperature;提示词不稳定时要求“只输出一条提示词”。本地 Ollama 的优势是免费、私密、可控,但也需要自己处理模型下载、显存、服务和版本升级。如果你只是想做应用原型,或者需要比较不同模型的能力与调用成本,可以通过词元所模型服务了解模型发现、价格与性能对比、多模型统一 API 接入和调用管理。
在统一接入方面,常见做法是通过配置 API 域名、密钥、模型名称,然后统一调用。如果你希望减少重复适配工作,也可以先通过大模型 API 服务平台梳理不同模型的接入方式、价格区间和适用场景,再决定是本地部署还是云端调用。
ComfyUI 接入 Ollama 的核心不是“让 ComfyUI 管理 Ollama”,而是“让 ComfyUI 正确调用 Ollama 或本地模型节点”。显存充足时,可以用 Ollama 独立服务快速生成提示词;显存有限时,更适合使用 ComfyUI 节点加载模型并 offload。配合稳定的提示词模板、合理的 temperature 和输出长度限制,你可以把 Ollama 变成一个稳定的提示词生成器,并接入 ComfyUI 自动出图流程。