prompt cache
更新时间:2025-04-11
什么是prompt cache
模型的prompt中经常包含一些重复性的内容,例如人设system与常用说明等。如果系统将这种包含较多重复信息的prompt请求路由到处理过相同提示的服务器,那么处理速度将比从头开始处理请求更快。对于支持prompt cache功能的模型,系统会自动为所有用户开启prompt cache模式,用户无需修改代码即可享受该功能。对于用户的每次请求,系统会判断并查找该请求的前缀部分是否已存储在缓存中,并返回命中Cache的结果。
支持模型范围
- ERNIE-4.0-Turbo-8K
如何计费
若您的请求命中 Cache 缓存,cached_tokens(命中缓存token)按照prompt_tokens的40%单价计算。命中Cache将降低您的调用成本,单次调用按量后付费计费示意图如下:
查看缓存命中情况
API返回的usage字段中的cached_tokens字段,可反映请求的缓存命中情况。当本次请求已命中缓存,usage中返回cached_tokens字段,cached_tokens中返回的数据代表命中缓存的token数量。
说明:
- 系统将定期清理一段时间没有使用过的缓存,且上下文缓存的命中概率并不是100%,即使是上下文完全一致的请求,也存在无法命中的概率,命中概率依据系统判断而定。
请求示例
第一次请求:
Plain Text
1curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
2--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
3--header 'Content-Type: application/json' \
4--data '{
5 "model": "ernie-4.0-turbo-8k",
6 "messages": [
7 {"role": "system", "content": "你是一位阅读理解高手"} ,
8 {
9 "role": "user",
10 "content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字表达了什么内容?"
11 }
12 ]
13}'
第n次请求:
Plain Text
1curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
2--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
3--header 'Content-Type: application/json' \
4--data '{
5 "model": "ernie-4.0-turbo-8k",
6 "messages": [
7 {"role": "system", "content": "你是一位阅读理解高手"} ,
8 {
9 "role": "user",
10 "content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字的主题是什么?"
11 }
12 ]
13}'
命中后返回示例
Plain Text
1{
2 "id": "as-v6qi7s8npi",
3 "object": "chat.completion",
4 "created": 1738921593,
5 "model": "ernie-4.0-turbo-8k",
6 "choices": [
7 {
8 "index": 0,
9 "message": {
10 "role": "assistant",
11 "content": "这段文字的主题是介绍百度智能云千帆大模型服务与开发平台(ModelBuilder)的功能和特点。它详细描述了这个平台如何作为一站式大模型开发及服务运行平台,支持企业开发者从数据管理到服务云端部署的完备流程,并满足各行业生成式AI应用需求。同时,还强调了平台提供的不同功能服务,如直接体验文心一言企业级推理云服务、使用模型在线微调训练功能等,以满足用户的特定需求。"
12 },
13 "finish_reason": "normal",
14 "flag": 0
15 }
16 ],
17 "usage": {
18 "prompt_tokens": 159,
19 "completion_tokens": 89,
20 "total_tokens": 248,
21 "prompt_tokens_details": {
22 "cached_tokens": 128
23 }
24 }
25}