大模型工具调用实践:搜索、解析与语音接入

作者:搬砖的石头2026.11.17 03:39浏览量:0

简介:本文拆解大模型工具调用的四类外围能力:联网搜索、链接阅读与文件解析、OCR、语音,说明调用流程、分流策略、长文档处理与成本控制方法。读者可借此判断哪些环节值得交给模型侧,哪些仍需自建,并掌握上线前的权限、超时与降级检查要点。

一、外围能力到底是什么

开发一个能用的 AI 产品,工作量主要落在模型外围。搜索需要接搜索服务,还要清洗正文、标注引用来源。文档需要解析,扫描件需要 OCR,语音需要识别与合成。

如果某家平台把这些能力以工具或独立接口的形式开放,应用侧的代码量会少很多。但开放范围、调用方式和计费口径都要以该平台官方文档为准,不能只凭客户端界面或第三方转述判断。

本文讨论的是通用模式,不针对某一家平台的具体字段名。

二、工具调用的基本流程

工具调用通常分三步。第一步,应用把用户问题和可用工具的描述一起发给模型。第二步,模型判断是否需要调用某个工具,并生成调用参数。第三步,应用执行工具,把结果回填给模型,模型据此生成最终回答。

有些平台把第二、三步封装在服务端,应用只需声明工具并读取结果。无论哪种方式,应用都要掌握三件事:哪些工具已开启,每次调用实际发生了什么,最终回答引用了哪些来源。

与先检索再生成的两段式流程相比,工具调用把”要不要检索”的决定交给了模型。这带来灵活性,也带来不可预测性。同一个问题,模型这次可能搜索,下次可能不搜。因此,关键场景需要在提示词或应用逻辑中明确要求,例如”必须联网核实并给出来源”,让行为保持稳定。

三、联网搜索:按问题类型分流

搜索类需求大致分两种。一种是事实补全,例如某政策的生效日期、某接口的最新版本,问题单一,通常一次检索即可回答。另一种是调研分析,例如比较几家供应商的方案,需要拆解子问题、反复查证。

事实型问题适合使用快速模式加搜索。调研型问题适合使用深度推理模式加搜索。深度推理模式会在推理过程中多次检索、读取链接,因此 token 消耗和响应时间都会增加。增加多少,取决于问题复杂度和所用模型,建议用自己的问题样本实测,不要套用别人的数字。

分流可以从简单规则开始。例如,问题中含有”对比””趋势””为什么””如何评估”等词时走深度模式,其余走快速模式。规则会有误判,但对大部分流量通常够用。之后可以根据日志把误判样本补进规则,或换成小模型做意图分类。

四、链接阅读与文件解析:控制上下文预算

给模型一个网址,模型可以读取正文并据此回答。这省去了自己抓取网页、去除导航与广告、提取正文的步骤。但网页抓取可能失败,页面也可能需要登录或依赖动态渲染,应用要准备失败时的处理路径。

文件解析的主要风险是上下文超长。几十页的 PDF 全文放进对话,会占用大量输入 token,而且效果未必优于精准检索的片段。

建议按文档长度分两种策略。短文档可以整篇解析后提问,链路最短。长文档应先解析成文本并存库,切块后建立向量索引,提问时召回少量相关片段,再交给模型。

长文档策略里有几个参数需要调整。切块大小、召回数量 Top-K、片段重叠长度都会影响效果。常见的起点是每块几百个 token,Top-K 取几条,重叠取少量比例。这些只是起点,需要用一组带标准答案的问题做评测,观察召回率和回答准确率后再确定。

缓存同样重要。解析结果可以用文件内容的哈希值作为缓存键,文件未变时直接复用。同一份文档被多次提问时,就不必重复解析或重复上传。

五、OCR 与语音:拆成独立接口

扫描件入库、票据批量结构化这类任务,不必走对话链路。直接调用 OCR 接口,把识别结果写入自己的数据库或向量库,流程更清楚,也便于重跑和排错。识别结果的置信度需要记录,低置信度的字段应转人工复核。

语音同样建议拆开。语音识别、语言模型、语音合成各自独立,中间用流式连接串联。典型链路是:语音识别输出文字,语言模型流式生成回答,语音合成边收边播。这样任何一段都能单独替换,例如换成方言识别更强的方案,而不必改动其他部分。

实时对话必须流式,否则首字延迟会直接影响体验。离线转写可以用非流式,实现更简单,吞吐也可以通过批量任务提升。

六、推荐架构

  • 用户输入后,先做意图分流,分为事实型、调研型、文档型、语音型。
  • 调研型问题走深度模式加搜索工具,可能经历多步检索。
  • 事实型问题走快速模式加搜索工具,通常一步完成。
  • 文档型问题走链接阅读或文件解析,长文档再接检索。
  • 语音型问题走语音识别,经语言模型流式生成,再进入语音合成。
  • 所有请求统一经过引用回填、日志留痕和成本核算。

三个环节常被忽略。

引用回填指搜索类回答要把来