计算ERNIE系列Token长度
更新时间：2024-09-23
注意： 为提升开发者使用体验，本文内容已合并至对应API文档，请查看API鉴权及调用-Token计算-计算ERNIE系列Token长度；本文档已于2024年6月28日在平台文档中心下线，内容不再更新。
功能介绍
根据用户输入text计算token数。
注意事项
调用本文API，需使用安全认证AK/SK鉴权，调用流程及鉴权介绍详见SDK安装及使用流程。
调用示例
import os
# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
from qianfan.resources.tools import tokenizer
text = "这是1段text(混合中英文）"
token_cnt = tokenizer.Tokenizer().count_tokens(
text=text,
mode='remote',
model="ernie-bot-4"
)
print(token_cnt)返回示例
8参数说明
请求参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| text | string | 是 | prompt内容，最大512000字符 |
| mode | string | 否 | 计算方式，固定值remote |
| model | string | 否 | 模型切词逻辑，用于指定平台支持预置服务的模型切词逻辑，说明： （1）如果填写此参数，模型可选值如下： · ERNIE 4.0系列： ernie-4.0-8k · ERNIE 3.5系列： ernie-3.5-8k · ERNIE Speed系列： ernie-speed-8k、ernie-speed-128k · ERNIE Lite系列： ernie-lite-8k· 其他，可选值为 ernie-tiny-8k、ernie-char-8k （2）如果值不在上述范围，model入参可以为空 |
返回参数
| 类型 | 描述 |
|---|---|
| int | 文本的token数 |