大模型节点
更新时间:2025-03-13
整体概述
大模型节点可调用大语言模型,根据输入参数和提示词生成回复。
参数配置
大模型节点中可以配置:
大模型配置模板:提供预制的示例模板,快速填写节点配置信息。
模型基础配置:
-
模型选择 大模型节点支持选择平台预置模型及用户在千帆ModelBuilder创建的自定义模型(千帆平台精调训练模型+自定义开发或外部下载模型)。你可以参考平台资源大模型服务进行模型的选择和使用。也可以参考模型创建说明直接创建自定义模型——上传场景数据对预置模型进行微调(SFT)或导入自训练大模型,在特定场景下达到极致效果。
- 模型多样性配置 该设置控制模型输出的多样性,会同时改变模型的top_p和temperature参数,数值越高输出内容的差异性越大。推荐设置0.01,可保证输出的效果稳定。(设置为0可能导致模型响应变慢)
- 模型检索增强配置 选择ERNIE-3.5和ERNIE-4.0系列模型时,可以配置是否开启检索增强。开启时,会根据用户query动态触发实时搜索,提升答案准确性和时效性。触发搜索会产生额外的tokens消耗,并使耗时变长。了解详情

- 模型高级参数配置 大模型节点右侧支持设置模型的高级配置参数,该参数为ERNIE模型的扩展参数,与千帆ModelBuilder模型接口参数对应,可针对不同的模型,配置特定的请求参数和模型返回的响应参数,满足特定场景下对模型作用效果精确控制,以及获取其他返回参数的需求。如果同时在面板上和高级参数都配置了同样的参数(比如多样性)且配置不一致,则会以高级配置的参数为准。使用说明

下方展示模型付费状态,付费状态默认关闭,平台优先消耗当前账号下赠送的免费模型资源。开启后,如果你已开通付费模型,免费资源消耗完毕后自动切换到付费资源,保障应用稳定可用,如需开启,请点击【修改配置】按钮前往资源额度页面。

输入:可以引用前序节点的参数,作为输入。此处的输入可以插入提示词中,作为变量。
提示词:编写大模型的提示词,使大模型实现对应功能。通过插入花括号的方式,如 {{input}} ,可以引用对应的参数值。此处也可以在输出定义参数,并在提示词中引用,如 {{output1}},指定大模型将对应信息按照参数的格式输出。
输出:通过参数输出大模型的结果。仅EB3.5和EB4系列模型支持设置多个输出参数,并在后续节点被直接引用。
设置多输出:设置多个输出参数时,系统会自动解析模型输出转为设置的参数,为了保证效果较好,需要在提示词中指定每个参数的输出内容,并在配置中准确填写参数描述。

