SDK功能列表
更新时间:2024-04-28
千帆提供了 Python、Go、Node.js 和 Java 等不同语言的 SDK,支持了丰富的 API 能力,便于开发者使用,提升开发效率。
SDK 支持的功能
千帆 SDK支持的能力如下,不同语言SDK,支持的功能不同。
注意: Go、Java及Node.js SDK功能正逐步完善,当前支持功能及调用也可以参考Go SDK使用、Java SDK使用、Node.js SDK使用。
模块 | 模块介绍 | HTTP 调用 | Python SDK | Go SDK | Java SDK | Node.js SDK |
---|---|---|---|---|---|---|
对话Chat | 支持创建chat,用于发起一次对话。 | ✓ | ✓ | ✓ | ✓ | ✓ |
续写Completions | 支持创建completion,用于发起一次续写请求,不支持多轮会话等。 | ✓ | ✓ | ✓ | ✓ | ✓ |
向量Embeddings | 支持Embeddings,用于根据输入内容生成对应的向量表示。 | ✓ | ✓ | ✓ | ✓ | ✓ |
图像Images | 提供图像相关API能力。 | ✓ | ✓ | ✕ | ✕ | ✓ |
Token计算 | 根据输入计算token数。 | ✓ | ✓ | ✕ | ✕ | ✕ |
模型服务 | 提供创建服务、获取服务详情等能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
模型管理 | 提供获取模型、模型版本详情,获取用户/预置模型及将训练任务发布为模型等能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
模型调优 | 提供创建训练任务、任务运行、停止任务运行及获取任务运行详情等能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
数据管理 | 提供创建数据集等数据集管理、导入导出数据集任务、数据清洗任务管理等能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
Prompt工程 | 提供模板管理、Prompt优化任务、评估等相关能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
插件应用 | 提供知识库、智慧图问、天气等相关能力。 | ✓ | ✓ | ✕ | ✕ | ✓ |
批量预测 | 提供创建预测任务、获取详情等能力。 | ✓ | ✓ | ✕ | ✕ | ✕ |
大模型能力相关
对话Chat
- Python、Go和Node.js SDK调用,请查看对话Chat 调用文档。
- Java SDK调用,请查看Java SDK使用文档文档。
模型 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
ERNIE 4.0 | 百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-4.0-8K-Preview | 百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE-3.5-8K | ERNIE 3.5是百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。ERNIE-3.5-8K(原ERNIE-Bot)是其中一个模型版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-3.5-8K-0205 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。逻辑推理能力显著提升,可更好处理复杂指令。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE-3.5-4K-0205 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。逻辑推理能力显著提升,可更好处理复杂指令。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE-3.5-8K-1222 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE-3.5-8K-Preview | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE-Speed-8K | 百度2024年最新发布的自研高性能大语言模型,通用能力优异,适合作为基座模型进行精调,更好地处理特定场景问题,同时具备极佳的推理性能。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-Speed-128K(预览版) | 百度2024年最新发布的自研高性能大语言模型,通用能力优异,适合作为基座模型进行精调,更好地处理特定场景问题,同时具备极佳的推理性能。该服务为预览版,不保障SLA。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-Lite | ERNIE Lite(原ERNIE-Bot-turbo)是百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,适合低算力AI加速卡推理使用。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-Lite-8K-0308 | 百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,适合低算力AI加速卡推理使用。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE Tiny | 百度自研的超高性能大语言模型,部署与精调成本在文心系列模型中最低。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE-Tiny-8K | 百度自研的超高性能大语言模型,部署与精调成本在文心系列模型中最低。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ERNIE Speed-AppBuilder专用版 | ERNIE Speed-AppBuilder专用版(原EB-turbo-AppBuilder专用版)是千帆AppBuilder专用版模型,针对企业级大模型应用进行了专门的指令调优,在问答场景、智能体相关场景可以获得同等规模模型下更好的效果,需配合“百度智能云千帆AppBuilder”产品使用或结合“AppBuilder-SDK”单独使用。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Gemma-2B-it | Google 开发的一系列轻量级、尖端的开源文本生成模型,采用与 Gemini 模型相同的技术构建,适合用于各种文本生成任务,能够在资源量较小的端侧设备部署。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Gemma-7B-it | Google 开发的一系列轻量级、尖端的开源文本生成模型,采用与 Gemini 模型相同的技术构建,适合用于各种文本生成任务,能够在资源量较小的端侧设备部署。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
Baichuan2-7B-Chat | 是百川智能推出的新一代开源大语言模型,采用2.6万亿Tokens的高质量语料训练,在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为70亿参数规模的Chat版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Yi-34B-Chat | 由零一万物开发并开源的双语大语言模型,使用4K序列长度进行训练,在推理期间可扩展到32K;模型在多项评测中全球领跑,取得了多项 SOTA 国际最佳性能指标表现,该版本为支持对话的chat版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
BLOOMZ-7B | BLOOMZ-7B是业内知名的大语言模型,由BigScience研发并开源,能够以46种语言和13种编程语言输出文本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Qianfan-BLOOMZ-7B-compressed | 千帆团队在BLOOMZ-7B基础上的压缩版本,融合量化、稀疏化等技术,显存占用降低30%以上。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Mixtral-8x7B-Instruct | 由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE),模型由8个70亿参数专家模型组成,在多个基准测试中表现优于Llama-2-70B及GPT3.5,能够处理32K上下文,在代码生成任务中表现尤为优异。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Llama-2-7b-chat | Llama-2-7b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-7b-chat是高性能原生开源版本,适用于对话场景。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Llama-2-13b-chat | Llama-2-13b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-13b-chat是性能与效果均衡的原生开源版本,适用于对话场景。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Llama-2-70b-chat | Llama-2-70b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-70b-chat是高精度效果的原生开源版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本,在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Qianfan-Chinese-Llama-2-7B-32K | 千帆团队在Qianfan-Chinese-Llama-2-7B基础上的增强版本,支持32K上下文。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Qianfan-Chinese-Llama-2-13B | 千帆团队在Llama-2-13b基础上的中文增强版本,在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Meta-Llama-3-8B | Meta AI于2024年4月18日发布的Meta Llama 3系列8B参数大语言模型,擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
Meta-Llama-3-70B | Meta AI于2024年4月18日发布的Meta Llama 3系列8B参数大语言模型,擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
ChatGLM2-6B-32K | 在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。 | 支持 | 支持 | 支持 | 支持 | API文档 |
AquilaChat-7B | 由智源研究院研发,基于Aquila-7B训练的对话模型,支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Linly-Chinese-LLaMA-2-7B | 由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 7b参数版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Linly-Chinese-LLaMA-2-13B | 由深圳大学CV研究所Linly项目进行中文增强训练的Llama-2 13b参数版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ChatGLM3-6B-32K | 智谱AI与清华KEG实验室发布的中英双语对话模型,在ChatGLM3-6B的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ChatGLM3-6B | 智谱AI与清华KEG实验室发布的中英双语对话模型,相比前两代,具备更强大的基础模型,同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ChatGLM2-6B | 智谱AI与清华KEG实验室发布的中英双语对话模型,具备强大的推理性能、效果、较低的部署门槛及更长的上下文,在MMLU、CEval等数据集上相比初代有大幅的性能提升。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ChatGLM2-6B-INT4 | 在ChatGLM2-6B的基础上进行INT4 量化,6G 显存支持的对话长度由 1K 提升到了 8K。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Baichuan2-13B-Chat | Baichuan 2 是百川智能推出的新一代开源大语言模型,采用2.6万亿Tokens的高质量语料训练,在权威的中文和英文 benchmark 上均取得同尺寸领先的效果。该版本为130亿参数规模的Chat版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
XVERSE-13B-Chat | 由深圳元象科技自主研发的支持多语言的大语言模型,支持8k上下文、40多种语言,具备训练效率高、稳定性强、算力利用率高等特点。该版本为130亿参数规模的Chat版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
XuanYuan-70B-Chat-4bit | 由度小满开发,基于Llama2-70B模型进行中文增强的金融行业大模型,通用能力显著提升,在CMMLU/CEVAL等各项榜单中排名前列;金融域任务超越领先通用模型,支持金融知识问答、金融计算、金融分析等各项任务。 | 支持 | 支持 | 支持 | 支持 | API文档 |
DISC-MedLLM | DISC-MedLLM是一个专门针对医疗健康对话式场景而设计的医疗领域大模型,由复旦大学数据智能与社会计算实验室 (Fudan-DISC)开发并开源。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ChatLaw | 由壹万卷公司与北大深研院研发的法律行业大模型,在开源版本基础上进行了进一步架构升级,融入了法律意图识别、法律关键词提取、CoT推理增强等模块,实现了效果提升,以满足法律问答、法条检索等应用需求。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Falcon-7B | 由TII研发、在精选语料库增强的1500B tokens上进行训练。由OpenBuddy调优并开源,提升了处理复杂对话任务的能力与表现。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Falcon-40B-Instruct | 由TII研发的仅使用解码器的模型,并在Baize的混合数据集上进行微调,具备优异的推理效果。 | 支持 | 支持 | 支持 | 支持 | API文档 |
RWKV-4-World | 由香港大学物理系校友彭博研发并开源,结合了Transformer与RNN的优点,具备优秀的推理性能与效果。RWKV-4-World在100多种语言上进行训练,具备优秀的英语零样本与上下文学习能力。 | 支持 | 支持 | 支持 | 支持 | API文档 |
RWKV-4-pile-14B | 由香港大学物理系校友彭博研发并开源,结合了Transformer与RNN的优点,具备优秀的推理性能与效果。RWKV-4-pile-14B为在 Pile 数据集上训练的 L40-D5120 因果语言模型。 | 支持 | 支持 | 支持 | 支持 | API文档 |
RWKV-Raven-14B | 由香港大学物理系校友彭博研发并开源,结合了Transformer与RNN的优点,具备优秀的推理性能与效果。RWKV-Raven-14B为在Pile数据集上训练,并在Alpaca、CodeAlpaca等上进行微调的Chat版本。 | 支持 | 支持 | 支持 | 支持 | API文档 |
OpenLLaMA-7B | 在Meta AI研发的Llama模型基础上,OpenBuddy进行调优,涵盖了更广泛的词汇、通用字符与token嵌入,具备与Llama相当的性能与推理效果。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Dolly-12B | 由Databricks训练的指令遵循大语言模型。基于pythia-12b,由InstructGPT论文的能力域中生成的约15k指令/响应微调记录训练。 | 支持 | 支持 | 支持 | 支持 | API文档 |
MPT-7B-Instruct | MPT-7B-Instruct是一种短格式指令遵循模型,由MosaicML研发,基于MPT-7B模型在Databricks Dolly-15k、HH-RLHF数据集上调优的版本,采用经过修改的仅使用解码器的transformer架构。 | 支持 | 支持 | 支持 | 支持 | API文档 |
MPT-30B-instruct | MPT-30M-Instruct是一种短格式指令遵循模型,由MosaicML研发,基于MPT-7B模型在更为丰富的数据集上调优的版本,采用经过修改的仅使用解码器的transformer架构。 | 支持 | 支持 | 支持 | 支持 | API文档 |
OA-Pythia-12B-SFT-4 | 基于Pythia12B,Open-Assistant项目的第4次SFT迭代模型。该模型在https://open-assistant.io/ 收集的人类反馈的对话数据上进行微调。 |
支持 | 支持 | 支持 | 支持 | API文档 |
RWKV-5-World | 由香港大学物理系校友彭博研发并开源,结合了Transformer与RNN的优点,具备优秀的推理性能与效果。 | 支持 | 支持 | 支持 | 支持 | API文档 |
自定义导入模型 | 千帆支持HuggingFace Transformer架构的自定义模型导入。 | 支持 | 支持 | 支持 | 支持 | API文档 |
续写Completions
- Python、Go和Node.js SDK调用,请查看续写Completions SDK调用说明文档。
- Java SDK调用,请查看Java SDK调用文档。
模型 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
Yi-34B | 是由零一万物开发并开源的双语大语言模型,使用4K序列长度进行训练,在推理期间可扩展到32K;模型在多项评测中全球领跑,取得了多项 SOTA 国际最佳性能指标表现。 | 支持 | 支持 | 支持 | 支持 | API文档 |
SQLCoder-7B | 由Defog研发、基于Mistral-7B微调的语言模型,用于将自然语言问题转换为SQL语句,具备优秀的生成效果。 | 支持 | 支持 | 支持 | 支持 | API文档 |
CodeLlama-7b-Instruct | Code Llama是由Meta AI研发并开源的一系列文本生成模型,旨在用于一般代码合成和理解。该模型参数规模为70亿。 | 支持 | 支持 | 支持 | 支持 | API文档 |
AquilaCode-multi | 由智源研究院研发,基于Aquila-7B训练的代码生成模型,使用经过高质量过滤且有合规开源许可的代码数据进行训练,数据量约为其他开源代码生成模型的10~40%。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Cerebras-GPT-13B | 由Cerebras研发并开源,使用 Chinchilla 公式进行训练的13B参数GPT模型,可为给定的计算预算提供最高的准确性,具备更低的训练成本与功耗。 | 支持 | 支持 | 支持 | 支持 | API文档 |
Pythia-12B | 由EleutherAI研发并开源,在Pile数据集上训练的12B参数transformer语言模型。 | 支持 | 支持 | 支持 | 支持 | API文档 |
GPT-J-6B | EleutherAI开发的6B参数transformer模型,基于Mesh Transformer JAX训练。 | 支持 | 支持 | 支持 | 支持 | API文档 |
GPT-NeoX-20B | 由EleutherAI开发,使用GPT-NeoX库,基于Pile训练的200亿参数自回归语言模型,模型结构与GPT-3、GPT-J-6B类似。 | 支持 | 支持 | 支持 | 支持 | API文档 |
GPT4All-J | 由Nomic AI研发、基于GPT-J在包括文字问题、多轮对话、代码、诗歌、歌曲和故事在内的大量语料上进行精调训练生成的模型。 | 支持 | 支持 | 支持 | 支持 | API文档 |
StarCoder | 由BigCode研发的15.5B参数模型,基于The Stack (v1.2)的80+编程语言训练,训练语料来自Github。 | 支持 | 支持 | 支持 | 支持 | API文档 |
StableLM-Alpha -7B | Stability AI开发的7B参数的NeoX transformer架构语言模型,支持4k上下文。 | 支持 | 支持 | 支持 | 支持 | API文档 |
ERNIE 4.0 | 百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
ERNIE-4.0-8K-Preview | 百度自研的旗舰级超大规模⼤语⾔模型,相较ERNIE 3.5实现了模型能力全面升级,广泛适用于各领域复杂任务场景;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-3.5-8K | ERNIE 3.5是百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。ERNIE-3.5-8K(原ERNIE-Bot)是其中一个模型版本。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
ERNIE-3.5-4K-0205 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。逻辑推理能力显著提升,可更好处理复杂指令。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-3.5-8K-0205 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。逻辑推理能力显著提升,可更好处理复杂指令。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-3.5-8K-1222 | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-3.5-8K-Preview | 百度自研的旗舰级大规模⼤语⾔模型,覆盖海量中英文语料,具有强大的通用能力,可满足绝大部分对话问答、创作生成、插件应用场景要求;支持自动对接百度搜索插件,保障问答信息时效。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-Speed-8K | 百度2024年最新发布的自研高性能大语言模型,通用能力优异,适合作为基座模型进行精调,更好地处理特定场景问题,同时具备极佳的推理性能。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-Lite | ERNIE Lite(原ERNIE-Bot-turbo)是百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,适合低算力AI加速卡推理使用。 | 支持 | 支持 | 支持 | 支持 | 不支持 |
ERNIE-Lite-8K-0308 | 百度自研的轻量级大语言模型,兼顾优异的模型效果与推理性能,适合低算力AI加速卡推理使用。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE-Tiny-8K | 百度自研的超高性能大语言模型,部署与精调成本在文心系列模型中最低。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ERNIE Speed-AppBuilder | ERNIE Speed-AppBuilder专用版(原EB-turbo-AppBuilder专用版)是千帆AppBuilder专用版模型,针对企业级大模型应用进行了专门的指令调优,在问答场景、智能体相关场景可以获得同等规模模型下更好的效果,需配合“百度智能云千帆AppBuilder”产品使用或结合“AppBuilder-SDK”单独使用。 | 支持 | 支持 | 支持 | 支持 | 不支持 |
Gemma-7B-it | Google 开发的一系列轻量级、尖端的开源文本生成模型,采用与 Gemini 模型相同的技术构建,适合用于各种文本生成任务,能够在资源量较小的端侧设备部署。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
Yi-34B-Chat | 由零一万物开发并开源的双语大语言模型,使用4K序列长度进行训练,在推理期间可扩展到32K;模型在多项评测中全球领跑,取得了多项 SOTA 国际最佳性能指标表现,该版本为支持对话的chat版本。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
BLOOMZ-7B | BLOOMZ-7B是业内知名的大语言模型,由BigScience研发并开源,能够以46种语言和13种编程语言输出文本。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Qianfan-BLOOMZ-7B-compressed | 千帆团队在BLOOMZ-7B基础上的压缩版本,融合量化、稀疏化等技术,显存占用降低30%以上。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Qianfan-Chinese-Llama-2-13B | 千帆团队在Llama-2-13b基础上的中文增强版本,在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Mixtral-8x7B-Instruct | 由Mistral AI发布的首个高质量稀疏专家混合模型 (MOE),模型由8个70亿参数专家模型组成,在多个基准测试中表现优于Llama-2-70B及GPT3.5,能够处理32K上下文,在代码生成任务中表现尤为优异。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Llama-2-7b-chat | Llama-2-7b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-7b-chat是高性能原生开源版本,适用于对话场景。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Llama-2-13b-chat | Llama-2-13b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-13b-chat是性能与效果均衡的原生开源版本,适用于对话场景。 | 支持 | 支持 | 支持 | 不支持 | 不支持 |
Llama-2-70b-chat | Llama-2-70b-chat由Meta AI研发并开源,在编码、推理及知识应用等场景表现优秀,Llama-2-70b-chat是高精度效果的原生开源版本。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Qianfan-Chinese-Llama-2-7B | 千帆团队在Llama-2-7b基础上的中文增强版本,在CMMLU、C-EVAL等中文数据集上表现优异。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
Meta-Llama-3-8B | Meta AI于2024年4月18日发布的Meta Llama 3系列8B参数大语言模型,擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
Meta-Llama-3-70B | Meta AI于2024年4月18日发布的Meta Llama 3系列70B参数大语言模型,擅长语言细微差别、上下文理解、代码生成以及翻译和对话生成等复杂任务。 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
ChatGLM2-6B-32K | 在ChatGLM2-6B的基础上进一步强化了对于长文本的理解能力,能够更好的处理最多32K长度的上下文。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
XuanYuan-70B-Chat-4bit | 由度小满开发,基于Llama2-70B模型进行中文增强的金融行业大模型,通用能力显著提升,在CMMLU/CEVAL等各项榜单中排名前列;金融域任务超越领先通用模型,支持金融知识问答、金融计算、金融分析等各项任务。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
ChatLaw | 由壹万卷公司与北大深研院研发的法律行业大模型,在开源版本基础上进行了进一步架构升级,融入了法律意图识别、法律关键词提取、CoT推理增强等模块,实现了效果提升,以满足法律问答、法条检索等应用需求。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
AquilaChat-7B | 由智源研究院研发,基于Aquila-7B训练的对话模型,支持流畅的文本对话及多种语言类生成任务,通过定义可扩展的特殊指令规范,实现 AquilaChat对其它模型和工具的调用,且易于扩展。 | 支持 | 支持 | 不支持 | 支持 | 不支持 |
自定义导入模型 | 千帆支持HuggingFace Transformer架构的自定义模型导入。 | 支持 | 支持 | 支持 | 支持 | API文档 |
向量Embeddings
- Python、Go和Node.js SDK调用,请查看Python SDK-向量Embeddings调用说明文档。
- Java SDK调用,请查看Java SDK调用文档。
模型 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
Embedding-V1 | Embedding-V1是基于百度文心大模型技术的文本表示模型,将文本转化为用数值表示的向量形式,用于文本检索、信息推荐、知识挖掘等场景。 | 支持 | 支持 | 支持 | 支持 | API文档 |
bge-large-zh | 由智源研究院研发的中文版文本表示模型,可将任意文本映射为低维稠密向量,以用于检索、分类、聚类或语义匹配等任务,并可支持为大模型调用外部知识。 | 支持 | 支持 | 支持 | 支持 | API文档 |
bge-large-en | 由智源研究院研发的英文版文本表示模型,可将任意文本映射为低维稠密向量,以用于检索、分类、聚类或语义匹配等任务,并可支持为大模型调用外部知识。 | 支持 | 支持 | 支持 | 支持 | API文档 |
tao-8k | 由Huggingface开发者amu研发并开源的长文本向量表示模型,支持8k上下文长度,模型效果在C-MTEB上居前列,是当前最优的中文长文本embeddings模型之一。 | 支持 | 支持 | 支持 | 支持 | API文档 |
图像Images
通过千帆SDK 调用图像Images相关API。
模型 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
Stable-Diffusion-XL | 业内知名的跨模态大模型,由StabilityAI研发并开源,有着业内领先的图像生成能力。 | 支持 | 不支持 | 不支持 | 支持 | API文档 |
Fuyu-8B | 由Adept AI训练的多模态图像理解模型,可以支持多样的图像分辨率,回答图形图表有关问题。模型在视觉问答和图像描述等任务上表现良好。 | 支持 | 不支持 | 不支持 | 支持 | API文档 |
Token计算
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
计算ERNIE系列Token长度 | 根据输入prompt计算token数。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
TPM&RPM配额管理
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
购买TPM&RPM配额 | 购买TPM&RPM配额。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查询TPM&RPM配额信息详情 | 查询预置服务TPM&RPM配额信息。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
终止按小时后付费TPM&RPM配额 | 用于终止按小时后付费TPM&RPM配额。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
模型服务
模型服务开放以下能力,SDK及文档等支持情况如下。
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
创建服务 | 用于创建服务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查询服务详情 | 用于查询服务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取服务列表 | 用于查询服务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
模型管理
模型管理开放以下能力,SDK及文档等支持情况如下。
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
获取模型版本详情 | 根据模型版本id获取模型版本详情,如模型名称、版本号、模型版本来源类型等。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取模型详情 | 用于根据模型ID获取模型详情,如模型名称、类型、来源、版本列表等。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
训练任务发布为模型 | 用于将训练任务的产出发布为模型管理中具体某个模型的版本,支持发布为新建模型的新版本或已有模型新版本。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取预置模型列表 | 用于查看预置模型列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取用户模型列表 | 用于查看用户训练产生和bos导入的模型列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
批量删除模型 | 用于批量删除模型。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
批量删除模型版本 | 用于批量删除模型版本。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
模型调优
注意:推荐使用V2版本接口,V2版本API能力更全面、且接口更规范。V1版本接口功能不再升级,如果之前已接入使用,可继续使用。
版本 | 功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|---|
V2 | 创建模型精调作业 | 用于创建模型精调作业。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V2 | 创建模型精调任务 | 用于创建模型精调任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V2 | 停止模型精调任务 | 用于停止模型精调任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V2 | 获取模型精调作业列表 | 用于获取模型精调作业列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V2 | 获取模型精调任务列表 | 用于获取模型精调任务列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V2 | 获取模型精调任务详情 | 用于获取模型精调任务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 创建训练任务 | 用于创建训练任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 创建任务运行 | 用于创建训练任务运行。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 获取任务运行详情 | 用于获取训练运行详情信息,如任务名称、任务版本、训练方法、训练状态、任务运行时间等。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 停止任务运行 | 用于停止训练任务运行。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 创建模型评估任务 | 用于创建并启动模型评估任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 查看模型评估详情 | 用于查看模型评估详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 查看模型评估报告 | 用于查看评估任务报告。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 停止模型评估任务 | 用于停止模型评估任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 查看模型评估结果导出任务状态 | 用于查看模型评估结果导出任务状态。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 查看模型评估结果列表 | 用于查看模型评估结果列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 查看可评估模型列表 | 用于查看可评估模型列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 批量删除模型评估 | 删除模型评估任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
V1 | 发起模型评估结果导出任务 | 用于发起评估结果导出任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
数据管理
数据管理开放以下能力,SDK及文档等支持情况如下。
API名称 | 说明 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
创建数据集 | 用于创建数据集。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
发起数据集发布任务 | 用于发布数据集。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
发起数据集导入任务 | 用于导入数据集。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取数据集详情 | 用于查看某数据集详情,如数据集名称、数据类型、版本信息等。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取数据集状态详情 | 用于批量查询数据集状态。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
发起数据集导出任务 | 用于导出数据集。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
删除数据集 | 用于删除数据集。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取数据集导出记录 | 用于获取某个数据集发起的导出记录。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取数据集导入错误详情 | 用于获取数据集导入错误的详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
创建数据清洗任务 | 用于创建数据清洗任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查看数据清洗任务详情 | 用于查看数据清洗任务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查看清洗任务列表 | 用于查看清洗任务列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
删除数据清洗任务 | 用于删除数据清洗任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
创建数据增强任务 | 用于创建数据增强任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查看数据增强任务详情 | 用于查看数据增强任务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
查看增强任务列表 | 用于查看增强任务列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
删除数据增强任务 | 用于删除数据增强任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
实体标注 | 用于进行实体标注。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
删除实体 | 用于删除实体。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取实体列表 | 用于获取实体列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
Prompt工程
Prompt工程指针对于Prompt进行结构、内容等维度进行优化的AI技术,它把大模型的输入限定在了一个特定的范围之中,进而更好地控制模型的输出。Prompt工程开放以下能力。
API名称 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
创建Prompt模板 | 用于创建prompt模板。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取Prompt模板详情 | 用于获取prompt模板详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
更新Prompt模板 | 用于更新prompt模板。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
删除Prompt模板 | 用于删除prompt模板。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取Prompt模板列表 | 用于获取prompt模板列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取标签列表 | 用于获取标签列表。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
Prompt评估打分 | 用于Prompt模板与语料评估,支持精准匹配、正则匹配以及语义相似多种评估方法。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
Prompt评估总结 | 用于针对Prompt推理评分结果进行总结提炼。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
创建Prompt优化任务 | 用于创建Prompt优化任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取Prompt优化任务的详情 | 用于获取Prompt优化任务详情。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
插件应用
插件应用开放以下能力,SDK及文档等支持情况如下。
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
知识库 | 使用知识库中存储的相关内容进行问答增强。 | 支持 | 不支持 | 不支持 | 支持 | API文档 |
智慧图问 | 实现OCR能力。 | 支持 | 不支持 | 不支持 | 支持 | API文档 |
天气 | 借助实时天气信息,回答天气相关问题,预报未来天气状况。 | 支持 | 不支持 | 不支持 | 支持 | API文档 |
批量预测
功能 | 介绍 | Python SDK | Go SDK | Java SDK | Node.js SDK | HTTP调用 |
---|---|---|---|---|---|---|
创建批量预测任务 | 用于创建批量预测任务。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |
获取批量预测任务详情 | 用于获取批量预测任务详情,如任务名称、任务描述、任务运行状态等。 | 支持 | 不支持 | 不支持 | 不支持 | API文档 |