提示词不够好，还是模型能力不够？微调前该如何评测

简介：本文面向开发者和技术负责人，给出一套判断方法：先通过结构化提示词和少样本示例排除输入设计问题，再用固定评测集建立基线，判断效果不佳的原因是提示词、上下文还是模型能力，最后决定是否值得投入微调。读完可掌握评测步骤与决策依据。

本文评测什么

大模型在某项任务上输出不理想时，团队通常面临两种归因。一种是提示词没有把任务讲清楚，另一种是基座模型本身做不到。两种原因的处理方式差别很大。提示词和上下文问题可以通过改写和补充信息解决，成本低、周期短。模型能力不足时，才需要考虑更换模型，或者通过微调改变模型行为，投入的数据、算力和维护成本都明显更高。如果归因错误，团队会在提示词上反复试错，或者过早进入微调阶段。

本文评测的对象是一套诊断方法。它通过受控实验区分三类问题：提示词问题、上下文与系统工程问题，以及模型能力问题。读者读完后可以判断以下内容：当前失败主要来自哪里，继续优化提示词还能获得多少收益，微调是否有足够依据。

本文适合开发者、算法工程师、架构师、技术负责人，以及正在评估大模型落地方案的企业技术团队。

这套方法不是简单判断“提示词好不好”。判断需要结合业务目标、任务难度、数据规模、迭代成本和长期维护需求。同一个失败案例，在原型验证阶段可以接受，在生产系统中可能属于阻断性问题。

一、评测背景与适用范围

提示词编写门槛低，但不同写法的效果差异很大。输出质量由多个因素共同决定：提示词的表达、任务所需的信息是否完整、上下文是否被截断、检索结果是否准确、解码参数是否合适，以及模型自身的能力边界。这些因素叠加在一起，失败现象往往相似，都表现为“答不对”，因此需要实验将它们分开。

微调的投入远高于提示优化。它需要整理训练数据、标注样本、占用训练资源，还要维护评测体系和模型版本。在没有证据之前直接微调，常常是高成本的低效操作。

本文的适用范围包括文本生成、分类、信息抽取、问答、多步推理，以及多轮对话和多智能体协作中的单个环节。本文不涉及模型预训练、底层架构对比，也不针对某一具体模型给出排名。

二、评测目标

本次评测重点回答四个问题。

失败来源是什么。是指令不清、信息缺失、系统配置问题，还是能力缺口。
提示优化的收益空间有多大。继续改写提示词，效果是否还会明显提升。
模型的能力上限在哪里。在信息充分、示例充足的条件下，失败是否仍然系统性地出现。
是否具备微调的前提条件。包括数据、评测、回归机制和成本收益是否可接受。

三、评测对象说明

大模型根据输入的条件文本，按统计规律生成后续内容。提示词是这些条件的主要部分，它规定了任务目标、约束、格式和背景信息。因此，输出质量首先取决于输入是否把任务讲清楚。

评测时可以把影响输出的因素分为四层。

指令层：任务目标、判断标准、约束条件、输出格式是否明确。
信息层：完成任务所需的背景知识、术语定义、示例和业务数据是否已经提供。
系统层：上下文长度是否足够，历史对话是否被截断，检索召回是否准确，解码参数是否合理。
能力层：模型在该任务所需的推理、知识和语言能力上是否具备。

前三层属于可以通过工程手段改进的问题，第四层才是模型本身的边界。能力层问题与指令层问题的表现可能完全相同，所以不能凭印象判断，需要通过对照实验逐层排除。

四、评测维度设计

评测维度应能被观察、被验证、被解释。下表列出了本文建议的评测维度。