千帆大模型输入输出长度统一规范
更新时间:2024-03-08
名词解释
字符
- 1个字母=1个字符,举例,hello=5字符
- 1个汉字=1个字符,举例,你好=2字符
token
大模型中,token是指语言模型中用来表示中文汉字、英文单词、或中英文短语的符号。token可以是单个字符,也可以是多个字符组成的序列。
您可以使用token计算器来在线计算部分文心大模型的字符转token数。
输入长度限制逻辑
- 字符长度限制:使用 输入token长度*4 进行第一道拦截,比如eb3.5-4k接口,输入token长度限制为2k,字符长度限制为8k,超过返回错误码 336007-the max length of current question is 8000
- token长度限制:
使用 token长度进行第二道拦截,超过返回错误码 336103-Prompt tokens too long - 去除遗忘逻辑,需要开发者限制传入token长度。
- 具体长度限制可以参考下文当中的表格。
token计算器
- 用户可以使用在线token计算器测试token长度:https://console.bce.baidu.com/tools/#/tokenizer
-
用户也可以调用tokenizer接口获取token长度。
大语言模型
ERNIE系列模型
备注:token 1k=1024,5k 输入限制对应5120 tokens
第三方开源模型
向量模型
当前支持的千帆线上接口地址如下:
接口名 | 输入限制(字符) | 输入限制(tokens) | 批次(batch) | 接口调用地址 | 接口文档 |
---|---|---|---|---|---|
Embedding-V1 | 1000 | 384 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/embedding-v1 | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/alj562vvu |
bge-large-zh | 20000 | 512 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/bge_large_zh | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/dllz04sro |
bge-large-en | 2000 | 512 | 16 | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/bge_large_en | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/mllz05nzk |
tao-8k | 28000 | 8192 | 1(只支持1) | https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/embeddings/tao_8k | https://cloud.baidu.com/doc/WENXINWORKSHOP/s/7lq0buxys |