SDK介绍
更新时间：2025-02-18
千帆ModelBuilder提供了多种语言的SDK，如Python、Go、Java和Node.js SDK。开发者可使用 SDK，快捷地开发功能，提升开发效率。SDK 支持推理服务API调用，如对话Chat、续写Completions、向量Embeddings等；也支持平台功能相关API调用，如模型管理、模型服务、模型调优等。
SDK开源说明
千帆ModelBuilder SDK已开源，欢迎广大开发者加入交流，详见千帆ModelBuilder SDK开源说明。
使用教程
平台提供了一些快速入门使用教程，帮助开发者快速上手。
- Python SDK调用对话Chat V1教程：介绍了如何通过Python SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
- Go SDK调用对话Chat V1教程：介绍了如何通过Go SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
- Java SDK调用对话Chat V1教程：介绍了如何通过Java SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
- Node.js SDK调用对话Chat V1教程：介绍了如何通过Node.js SDK，实现调用ERNIE-3.5-8K大模型对话Chat。
- Python SDK调用图像Images教程：介绍了如何使用千帆Python SDK 实现根据文本生成图片。
- 平台功能API调用示例：介绍了如何使用千帆Python SDK，实现调用模型服务-获取预置服务列表API。
SDK 支持的语言及版本
千帆ModelBuilder提供了以下语言SDK：
- Python SDK，支持 Python >= 3.7版本
- Go SDK，支持 Golang >= 1.18 版本
- Java SDK，支持 JDK >= 1.8 版本
- Node.js SDK
SDK 安装及使用说明
- Python SDK，请查看Python SDK 安装及使用说明
- Go SDK，请查看Go SDK 安装及使用说明
- Java SDK，请查看Java SDK 安装及使用说明
- Node.js SDK，请查看Node.js SDK 安装及使用说明
SDK 支持的功能
平台提供了丰富的SDK能力，包括对话Chat、续写Completions、向量Embeddings、Prompt工程、模型服务、管理、调优及数据管理等能力，详情请查看SDK功能列表。
-
推理服务相关
- 对话Chat，支持创建chat，用于发起一次对话。
- 续写Completions，支持创建completion，用于发起一次续写请求，不支持多轮会话等。
- 向量Embeddings，支持Embeddings，用于根据输入内容生成对应的向量表示。
- 图像Images，提供图像相关API能力。
- 重排序Reranker：支持重排序Reranker，用于重新排序向量模型返回的top-k文档，优化语义搜索结果
- 自定义模型：平台支持HuggingFace Transformer架构的自定义大模型导入，将自定义模型发布为服务，并支持通过相关API调用该服务。
- Token计算，根据输入计算token数。
- 批量预测：提供创建批量预测任务、获取批量预测任务详情等能力。
-
平台功能相关
- TPM配额管理：提供了购买TPM配额、查询配额信息等能力。
- 私有资源池服务付费：提供了购买算力单元实例、查询算力单元实例列表或信息等能力。
- 模型服务：提供创建服务、获取服务详情等API能力。
- 模型管理：提供获取模型、模型版本详情及将训练任务发布为模型等API能力。
- 模型调优：提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等API能力。
- 数据管理：提供创建数据集、导入导出数据集等API能力。
- Prompt工程：提供模板、Prompt评估、Prompt优化等相关API能力。
- 系统记忆：提供创建系统记忆、查询系统记忆等能力。
- 实例资源自动续费：提供创建实例资源自动续费规则API能力。
命令行CLI工具
平台提供了命令行CLI工具，方便在命令行中直接使用平台功能，如提供了对话Chat、续写Completions、图像Images、数据集dataSet、训练trainer等。更多介绍详见CLI工具介绍。
模块调用
Python SDK支持以下模块相关内容调用。
- 模型训练Trainer：调用Trainer相关API，支持对数据集进行自定义训练。
- Prompt对象：提供了Prompt类型，可以更便捷地操作平台上的Prompt。
在线服务压测指南
Python SDK提供了基于locust工具的对大模型服务进行单轮、多轮快速压测以及性能评估功能。更多介绍请查看在线服务压测指南。