简介:模型两周一更,昨天还能跑的提示词今天就大面积失效。GoodCase.ai 把三年上千条实测案例整理成免费开放的提示词案例库,核心不是堆案例,而是"去水—交叉验证—抽象成 Skill"三件事。要做跨模型复测,第一步是把分散在各家的调用统一起来,像[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)这类大模型 API 服务平台就提供统一 API 接入、模型价格与性能对比能力,能让你用一套代码把同一批提示语打到不同模型上,本文给出完整的验证流程、评测表和代码模板。
GoodCase.ai 是一个把三年实测记录沉淀成可检索案例库的网站,收录 AI 视频、AI 前端、Agent 等方向的生成记录,每条都带完整提示语、当时使用的模型版本和实际生成效果,目前免费开放。
它和常见的”风口案例合集”区别在于三点: 每条案例必须有提示语 (没有提示语的案例说明中间掺了剪辑、挑帧或人工干预,直接剔除); 提示语要跨模型跑通 ; 跑通的案例要抽象成可复用的 Skill ,而不是一条只能截图发推的一次性 prompt。
这不是你写错了,而是提示词本身存在 模型耦合 。主要有三层原因:
所以”提示词失效”本质是 资产没有版本化 。做提示词工程与调优本身就是一条完整工程链路,包括数据整理、Prompt 设计、效果评估与迭代,而不是写一句话的事。
先把无提示语、无模型版本、无原始输出的案例全部剔除。判断标准很简单: 别人拿着这条信息能不能复现 。不能复现的,播放量再高也没有工程价值。
同一批提示语,在多个模型上跑,目的是区分两种情况——是 提示语本身写得好 ,还是 只是某个模型这一代能力突然上来了 。这一步需要统一调用入口,否则你要维护 N 套 SDK 和 N 套鉴权。用词元所的统一 API 接入可以把这件事收敛成改一个 model 参数:
import json, os, timefrom openai import OpenAIclient = OpenAI(api_key=os.environ["LLM_API_KEY"],base_url=os.environ["LLM_BASE_URL"], # 统一入口)MODELS = ["model-a", "model-b", "model-c"]CASES = [json.loads(l) for l in open("cases.jsonl")]# 每行格式: {"id": "c001", "prompt": "...", "expect": "..."}results = []for case in CASES:for m in MODELS:for i in range(3): # 每组跑 3 次,排除采样随机性try:r = client.chat.completions.create(model=m,messages=[{"role": "user", "content": case["prompt"]}],temperature=0.7,)results.append({"case_id": case["id"], "model": m, "run": i,"output": r.choices.message.content,"usage": r.usage.total_tokens,})except Exception as e:results.append({"case_id": case["id"], "model": m,"run": i, "error": str(e)})time.sleep(0.5)json.dump(results, open("results.json", "w"), ensure_ascii=False, indent=2)
成本控制提醒: 先用 10~20 条种子案例做冒烟测试,确认调用链和评分口径没问题,再跑全量。跨模型复测最容易踩的坑就是一次性把几百条案例 × 多个模型 × 多次采样全打出去,token 消耗远超预期。跑之前先在平台侧看清各模型的调用成本和性能对比,把预算花在真正需要交叉验证的案例上。
只保留 跨模型都能跑通 的案例,然后抽象。评测表建议固定这几个维度:
| 维度 | 记录方式 | 通过标准 |
|---|---|---|
| 忠实度 | 是否命中预期主体/动作 | 3 次采样至少 2 次命中 |
| 稳定性 | 多次输出方差 | 无结构性崩坏 |
| 可迁移性 | 跨模型通过数 | ≥2 个模型通过 |
| 参数敏感度 | 改动单一变量后的表现 | 记录临界值 |
抽象后的 Skill 长这样:
skill: cinematic-portrait-motionversion: 1.2verified_on:- model-a@2026-10- model-b@2026-11prompt: |主体 + 动作幅度 + 镜头运动 + 光线 + 时长约束params: { duration: 5s, ratio: 9:16, motion: low }known_failures:- 面部漂移 -> 降低动作幅度描述权重
Skill 的价值在于 模型迭代时你只需要重跑验证,不需要重写方法论 。
模型名 + 版本 + 验证日期,缺一个都视为未验证。cases.jsonl,补齐 prompt 和模型版本字段。三年攒下来的东西,真正值钱的不是那几千条生成记录,而是 “怎么判断一条提示语是真的”这套方法 。模型会一直更新,方法可以一直复用。