计算ERNIE系列Token长度
更新时间：2024-11-15
功能介绍
根据输入Prompt计算token数。
使用说明
本文API支持通过Python SDK调用，调用流程请参考SDK安装及使用流程。
SDK调用
调用示例
import os
# 使用安全认证AK/SK鉴权，通过环境变量方式初始化；替换下列示例中参数，安全认证Access Key替换your_iam_ak，Secret Key替换your_iam_sk
os.environ["QIANFAN_ACCESS_KEY"] = "your_iam_ak"
os.environ["QIANFAN_SECRET_KEY"] = "your_iam_sk"
from qianfan.resources.tools import tokenizer
text = "这是1段text(混合中英文）"
token_cnt = tokenizer.Tokenizer().count_tokens(
text=text,
mode='remote',
model="ernie-4.0-8k"
)
print(token_cnt)返回示例
8请求参数
| 名称 | 类型 | 必填 | 描述 |
|---|---|---|---|
| text | string | 是 | prompt内容，最大512000字符 |
| mode | string | 否 | 计算方式，固定值remote |
| model | string | 否 | 模型切词逻辑，用于指定平台支持预置服务的模型切词逻辑，说明： （1）如果填写此参数，模型可选值如下： · ERNIE 4.0系列： ernie-4.0-8k · ERNIE 3.5系列： ernie-3.5-8k · ERNIE Speed系列： ernie-speed-8k、ernie-speed-128k · ERNIE Lite系列： ernie-lite-8k· 其他，可选值为 ernie-tiny-8k、ernie-char-8k （2）如果值不在上述范围，model入参可以为空 |
返回参数
| 类型 | 描述 |
|---|---|
| int | 文本的token数 |