prompt cache上线公告
更新时间:2025-02-08
功能介绍
千帆ModelBuilder平台已上线prompt cache上下文缓存功能。该功能对所有用户默认开启,用户无需修改代码即可使用。
支持模型范围
模型名称 | 输入价格 (缓存命中) | 输入价格 (缓存未命中) | 输出价格 |
---|---|---|---|
ERNIE-4.0-Turbo-8K | 0.008元/千tokens | 0.02元/千tokens | 0.06元/千tokens |
如何计费
若您的请求命中 Cache 缓存,cached_tokens(命中缓存token)按照prompt_tokens的40%单价计算。
命中Cache将降低您的调用成本,单次调用按量后付费计费示意图如下:
查看缓存命中情况
在ERNIE-4.0-Turbo-8K预置服务API返回的usage字段中增加了cached_tokens字段,来反映请求的缓存命中情况。当本次请求已命中缓存,usage中返回cached_tokens字段,cached_tokens中返回的数据代表命中缓存的token数量。
- v1版本请求详情
请求示例
第一次请求:
# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/ernie-4.0-turbo-8k?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字表达了什么内容?"
}
]
}'
第二次请求:
# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/ernie-4.0-turbo-8k?access_token=[步骤一调用接口获取的access_token]' -d '{
"messages": [
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字的主题是什么?"
}
]
}'
第二次请求返回示例
{
"id": "as-x7aiyac67v",
"object": "chat.completion",
"created": 1738930011,
"result": "这段文字的主题是介绍百度智能云千帆大模型服务与开发平台(ModelBuilder)的功能和特点。它详细描述了该平台作为一站式大模型开发及服务运行平台,如何面向企业开发者提供包括文心一言底层模型、第三方开源大模型、各种AI开发工具和整套开发环境等全方位服务,并强调了该平台如何通过完备的流程助力各行业生成式AI应用需求的落地。同时,还通过具体的应用场景示例,如智能对话、智能输入法以及电销场景的商品介绍、推广文章等,展示了千帆ModelBuilder如何满足用户特定需求,提供定制化的模型服务。",
"is_truncated": false,
"need_clear_history": false,
"finish_reason": "normal",
"usage": {
"prompt_tokens": 155,
"completion_tokens": 118,
"total_tokens": 273,
"prompt_tokens_details": {
"cached_tokens": 128
}
}
}
- v2版本请求详情
请求示例
第一次请求:
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字表达了什么内容?"
}
]
}'
第二次请求:
curl --location 'https://qianfan.baidubce.com/v2/chat/completions' \
--header 'Authorization: Bearer bce-v3/ALTAK-CM0****SU/a8cfadb****8' \
--header 'Content-Type: application/json' \
--data '{
"model": "ernie-4.0-turbo-8k",
"messages": [
{"role": "system", "content": "你是一位阅读理解高手"} ,
{
"role": "user",
"content": "<百度智能云千帆大模型服务与开发平台ModelBuilder是面向企业开发者的一站式大模型开发及服务运行平台,不仅提供了包括文心一言底层模型和第三方开源大模型,还提供了各种AI开发工具和整套开发环境,从数据管理到服务云端部署,完备的流程助力各行业生成式AI应用需求落地。面向不同的企业需求,千帆ModelBuilder提供不同的功能服务。例如,智能对话、智能输入法等通用应用场景,可在千帆ModelBuilder直接体验文心一言企业级推理云服务,并进行业务集成;细分领域电销场景的商品介绍、推广文章等需要对推理结果进行定制调整,则可在千帆ModelBuilder使用模型在线微调训练功能,快速生成行业场景定制模型服务,满足用户特定需求。>这段文字的主题是什么?"
}
]
}'
第二次请求返回示例
{
"id": "as-v6qi7s8npi",
"object": "chat.completion",
"created": 1738921593,
"model": "ernie-4.0-turbo-8k",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "这段文字的主题是介绍百度智能云千帆大模型服务与开发平台(ModelBuilder)的功能和特点。它详细描述了这个平台如何作为一站式大模型开发及服务运行平台,支持企业开发者从数据管理到服务云端部署的完备流程,并满足各行业生成式AI应用需求。同时,还强调了平台提供的不同功能服务,如直接体验文心一言企业级推理云服务、使用模型在线微调训练功能等,以满足用户的特定需求。"
},
"finish_reason": "normal",
"flag": 0
}
],
"usage": {
"prompt_tokens": 159,
"completion_tokens": 89,
"total_tokens": 248,
"prompt_tokens_details": {
"cached_tokens": 128
}
}
}