工作流大模型节点高级配置使用案例
更新时间:2024-11-18
场景说明
当前工作流的大模型节点,已经为用户提供了常见的模型配置项内容,比如:模型名称、模型多样性配置、提示词等。但在特定场景下,为了更精准控制模型生成结果,需要能够指定不同模型的不同参数,比如控制EB4.0系列的实时搜索功能的参数,或设置最大输出tokens数等。当有以上场景时,可以在大模型节点配置模型接口的高级参数。
场景应用
支持在大模型节点中按照模型接口文档配置请求的body参数,以及接口返回的响应参数,接下来将通过2个实际案例配置说明该功能的使用方式。
案例一:强制关闭搜索
教育场景下,用户希望每个提问的query都能够先通过百度搜索或百度教育进行检索,然后由模型统一进行总结。在模型已经获取到检索结果的场景下,不应该再次触发模型自带的检索能力,所以需要能够设定强制关闭实时搜索的功能。
参考ModuleBuilder平台提供的模型接口文档,在大模型节点进行高级参数配置:
在实际请求时,可以保证每次请求都不会触发模型的实时检索功能。
案例二:开启搜索时返回检索内容
自由问答场景下,用户希望了解哪些query会触发搜索,并且希望如果触发了检索,能够返回原始的检索结果。可以通过在高级参数配置下设置对应的返回参数,即可在节点输出参数中获取到对应的检索结果。
接口返回参数的配置不影响节点原始的大模型生成内容的输出。
运行以上工作流,可以看到检索的返回内容。所有设置的额外返回参数都会在统一的completion_details的对象下。
模型接口文档地址