简介:大模型的提示词按Token计费,空格、换行、加粗星号以及JSON里的引号、花括号和缩进,同样会按量计入账单。本文对比两类Prompt写法:一类是Markdown排版加JSON配置的可读格式,一类是纯文本指令加紧凑键值的紧凑格式。文章从分词机制、结构信噪比、指令表达力、缓存友好度和维护成本等维度,剖析两者在成本、质量与可维护性上的取舍,并给出场景化选型建议、迁移注意事项,以及“源文件保可读、构建产物保紧凑”的折中方案。你可以据此识别自己账单中的“词法税”,在保证输出质量的前提下压降Token支出。
在按Token计费的大模型推理服务中,输入(Prompt)和输出(Completion)分别计费。很多团队把成本优化的注意力放在输出端,比如压缩回答长度、控制生成轮数。但输入侧同样存在可以量化的浪费。提示词中那些不直接传达业务语义的符号,例如空格、回车、 Markdown加粗星号,以及JSON的引号和花括号,依然会消耗Token。这类开销可以称为“词法税”。
为了让提示词看起来结构清楚,常见的做法有:
这些写法确实方便人阅读和评审。但在大模型的计费逻辑里,它们承担的是排版职责,并不必然对应更强的“智能”。当提示词被模板化,并随着业务调用量线性放大后,装饰性符号带来的成本也会固定下来。按经验估算,提示词中约有10%~20%是装饰性Token。在千万级调用量下,这部分相当于每月固定支出的10%~20%。
本文对比两类Prompt写法:
两者都能让模型理解任务。区别在于:前者把“给人看”作为第一目标,后者把“给机器算”作为第一目标。
这类写法借鉴技术文档的组织方式:
它的优势在于直观。产品经理、运营和技术负责人无需理解分词机制,就能快速审阅和修改提示词。
这类写法遵循“机器优先”原则:
需要注意的是,紧凑化针对的是输入侧。输出侧的Token与响应长度、生成内容相关,通常单价更高,应从回答长度、响应格式等方面单独优化。
此外,紧凑化不等于“不写格式”。它指的是去掉不参与语义表达的装饰,保留真正影响模型理解的结构线索。
主流大模型普遍采用BPE一类的子词切分方式。切分结果取决于词表与合并规则,同一个符号序列在不同模型中可能对应不同数量的Token。常见情况是:
需要说明的是,不同模型的分词行为存在差异,以下数字仅为量级参考:
结论是:成本优化的第一步不是改写语义,而是先看清Token构成。
以一条包含用户ID、标签数组和分页上限的检索请求为例,两种表达的差异如下。
JSON风格(每个键都带双引号,花括号闭合):
{“user”: {“id”: 1024, “tags”: [“vip”, “beta”]}, “limit”: 50}
紧凑键值风格(缩进表达层级,省去除法所需的引号):
user:
id: 1024
tags: [vip, beta]
limit: 50
单条记录的Token差距也许只有个位数到十几个,但在RAG场景中,一次请求可能附带几十条甚至上百条检索结果或商品信息,差距会成倍放大。同时,JSON的严格语法要求所有引号和括号成对出现。一旦中途截断,解析就会失败,这类无效输入同样会计费。
因此,紧凑格式在批量结构化数据上的优势更明显。但它也有前提:模型需要能稳定理解这种表达。能否稳定理解,应通过实测验证,而不是直接假设。
一个常见误区是:以为加粗、标题和分隔线能让模型“更听话”。实际上:
因此,各类符号的优先级并不相同:
如果内容中包含不可信输入(如用户上传的文档),分隔标记还有助于降低提示注入风险。这类场景应以安全为重,不宜过度压缩。
不少推理服务支持提示词前缀缓存。当多次请求共享相同的前缀(如系统指令、工具说明、知识库说明)时,服务端可以复用这部分前缀的KV Cache(注意力的键值缓存),从而减少重复计算。部分服务对缓存命中的输入还会在计费上予以优惠,具体以各服务商文档为准。
两种写法与缓存的匹配度不同:
但两者都不是自动命中缓存。需要把稳定内容放在最前面、易变内容放在最后,并在版本发布时固定提示词的构建产物。
紧凑格式提升了输入效率,也带来新的风险:
可读格式的输出通常更稳定,但这不是绝对的,因为模型的遵循度主要取决于训练和对齐。因此两种写法都需要用评测集验证,不能一概而论。
更值得注意的是“隐性成本”:如果一次不规范的输出触发重试或人工复核,那么它消耗的Token和人力可能远超格式优化省下的部分。判断一种写法是否划算,应该看“总成本 = 单次调用成本 ×(1 + 失败重试率)+ 维护成本”,而不是只看单次Token数。
可读格式的优势在团队侧:
紧凑格式的难点也在团队侧:
| 对比维度 | 可读性优先的格式化写法 | Token效率优先的紧凑化写法 |
|---|---|---|
| 核心目标 | 人类可读、易评审、易协作 | 单位信息量的Token成本最低 |
| Token开销 | 装饰与结构符号占比高,典型提示词中格式性Token约10%~20% | 去除装饰、简化结构后,Token占用通常更低,幅度取决于内容构成与分词器 |
| 结构表达 | 依赖Markdown标题、列表、JSON等显式结构 | 依赖缩进、键值对、表格化记录等轻量结构 |
| 表达清晰度 | 对人和模型都直观,歧义较少 | 表达依赖约定,分隔符设计不当时歧义风险上升 |
| 指令遵循 | 取决于指令本身,排版带来的增益有限 | 取决于指令表述与位置,不以压缩程度论优劣 |
| 缓存友好度 | 格式易被改动,前缀稳定性依赖约束 | 多由模板生成,前缀稳定,更易配合前缀缓存 |
| 解析容错 | 结构规整,便于解析与异常定位 | 对截断、分隔符冲突更敏感,需配套校验 |
| 可维护性 | 高,非技术人员也能参与 | 较低,通常需要“源文件+构建产物”双层管理 |
| 调试与排错 | 便捷,问题位置直观 | 需对照压缩前后的版本 |
| 适用调用量 | 小到中等,或探索期 | 模板化、大规模、成本敏感型调用 |
| 主要风险 | 装饰性Token长期被重复计费 | 歧义引发错误输出、重试或返工 |
以下示例通过“源文件保可读、构建期压缩”的思路,展示两种写法的对应关系。示例为通用结构,不依赖任何特定工具。
源文件(可读格式):
你是一名严谨的数据分析助手。
紧凑产物(构建期生成):
角色:数据分析助手。规则:只依据给定资料回答;资料不足时明确说明”信息不足”,不要猜测。输出:最多3条结论,每条不超过30字。数据:
构建期压缩流程可用伪代码表示:
src = load_template(‘prompt.md’)
compact = build_compact(src)
assert semantic_check(src, compact)
validate(compact)
assert count_tokens(compact) <= count_tokens(src)
deploy(compact)
render(compact, data=data)
其中:
| 场景 | 建议倾向 | 原因 |
|---|---|---|
| 探索期、个人项目、调用量较小 | 可读格式 | 迭代快、沟通成本低,装饰性开销对总成本影响有限 |
| 大规模线上业务,提示词已模板化 | 紧凑格式 | 调用量放大后,单位Token的差异会被成倍放大 |
| RAG检索结果、商品/配置批量注入 | 紧凑格式(表格或键值) | 批量结构化数据中,重复字段名的开销随条数线性增长 |
| 工具调用参数、结构化配置 | 紧凑格式,配合严格校验 | 减少冗余符号,同时需要防止解析歧义 |
| 提示注入风险较高的场景 | 保留必要的分隔与声明 | 安全优先,不为节省Token牺牲隔离边界 |
| 多团队协作、需频繁评审提示词 | 可读源文件 + 紧凑产物 | 兼顾协作效率与线上成本 |
| 输出冗长、回答成本占比高 | 先优化输出侧 | 输出Token通常单价更高,压缩输出的收益可能更直接 |
从可读格式迁移到紧凑格式,属于提示词构建方式的变更,需要关注以下几点:
回到最初的问题:每月Token账单中那10%~20%的开销,究竟花在了哪里?对比两类写法,可以得到以下结论:
两者的优劣来自具体的技术差异:装饰符号的独立计费、JSON的重复键开销、模型对格式的遵循方式,以及前缀缓存对前缀稳定性的要求。
因此,更稳妥的做法不是“二选一”,而是“源文件保可读,产物保紧凑,评测保质量”。先测量Token构成,再按“删冗余、去装饰、紧凑结构化数据”的顺序优化,同时保留必要的结构与安全约束,可以让每一分Token预算都花在真正的“智能服务”上。