自定义模型调用API
更新时间：2024-10-31
千帆ModelBuilder支持HuggingFace Transformer架构的自定义大模型导入。本文介绍了自定义导入模型发布为服务后，相关API调用规范。
输入输出模式
自定义导入模型包含2种输入输出模式，不同模式调用的API不同，开发者可以根据模型所支持的模式选择相应的API使用：
- 对话模式，创建chat，发起一次对话请求，支持多轮对话。
- 续写模式，创建completion，用于发起一次文本续写请求。
如何导入并部署第三方模型，请查看快速导入并部署第三方模型。
对话模式
使用对话模式调用API，请查看对话模型调用文档。
续写模式
使用续写模式调用API，请查看续写模式调用文档。