生成场景类应用
所有文档
menu

千帆大模型服务与开发平台ModelBuilder

生成场景类应用


目录

  1. 创建插件应用服务
  2. 配置插件应用服务

插件应用已于2024年7月31日迁移至AppBuilder,本文档为历史参考,如有需要请您于AppBulier使用或关注

登录到本平台,在左侧功能列选择插件编排,进入插件编排主任务界面,按以下流程进行插件的创建和应用。

image.png

创建插件应用服务

您需要在插件编排界面,选择“配置插件应用”按钮。
首先需要您选择插件服务的场景类型:

  • 生成类场景:生成长内容、文章、摘要等;

最后需要您按下图流程定义插件应用的名称及描述。

image.png

配置插件应用服务

在创建完插件应用服务后,您可以在服务列表中进行查看,服务状态为“编辑中”。

选择操作列的“配置”按钮,进行插件应用的配置。

image.png

1.模型及参数

在配置页左侧进行模型及参数的配置。当前支持部分预置服务文心大模型服务进行温度、多样性和重复惩罚的参数调整;基础模型为BLOOMZ-7B的服务当前仅支持单轮对话。

image.png

  • 选择已发布的在线服务和应用,服务创建可参考在线服务使用说明,应用创建可参考应用接入使用说明。其中,选择服务既可选择平台预置的服务也可以选择自建的服务,需要注意选择的服务需已添加至选择的应用当中。
  • 温度:较高的数值会使输出更加随机,而较低的数值会使其更加集中和确定。
  • 多样性:控制⽣成⽂本的多样性,取值越大,生成文本的多样性越强。
  • 重复惩罚:⽤于抑制重复的⽣成内容,对已生成的token增加惩罚,取值越大,重复生成的现象越小。

2.提示词

提示词用于对AI的回复做出一系列指令和约束。
可插入表单变量,例如{input}。这段提示词不会被最终用户所看到,变量将以表单形式让用户在对话前填写,用户填写的表单内容将自动替换提示词中的变量。

image.png

提示词的来源可以直接引用平台Prompt模板,支持引用预置和创建的prompt模板。

3.知识库

在插件编排中可以选择关联知识库,结果返回知识库知识。

image.png

知识库的来源为平台已经创建的知识库内容,如果您之前未创建相关知识库,可以参考知识库使用说明文档内容,直接创建知识库

插件上线后,调用知识库应答的计费内容可查看价格文档中的示例3

4.安装插件

所有配置工作完成后,您可以在对话框选择安装插件,在线测试插件应用的对答能力,当前安装插件个数不超过3个(知识库除外)。

  • 如果您已经关联了知识库,则默认安装知识库插件。
  • 知识库插件和chatfile插件支持测试框的文档上传

image.png

同时,您也可以选择安装自定义的插件,关于更多插件的介绍说明可移步至插件列表自定义插件

特别注意:域内知识搜索增强将停止维护,卸载后将下线该插件,请在卸载前确认已将知识转移到知识库产品内。

  • 指定知识库回答问题:插件关联知识库后,如果使用“/”指定知识库,将会根据用户问题去知识库中检索相关段落,召回后让大模型去总结答案。
  • 不指定知识库回答问题:插件关联知识库后,如果没有用“/”指定知识库,会先根据知识库描述以及问题意图识别判断是否需要使用知识库回答问题,如果不使用知识库,则直接使用EB回答问题;插件判断是否需要使用知识库的凭据是 知识库的描述信息,建议使用中文,尽可能全面的描述文档内容。

5.调试信息

插件服务支持在生成测试中展示调试记录,展示在进行应用配置时对于配置效果的每一步执行效果。通过调试记录,你可以清晰了解当前配置是否起作用以及是否为最优配置, 以便为您做最直观的配置成果反馈。

如下所示,对话提交后则会在对话框右侧生成调试信息。

image.png

  • Thinking

包括以下的执行参数返回:

image.png

  • Plugin

包括以下的执行参数返回:

image.png

  • LLM

包括以下的执行参数返回:

image.png