简介:金融搜索智能体评测不能只看最终对错。本文对比“仅核答案”与“结果+过程+证据可回溯”两类方法,说明检索、口径、计算与信源差异,以及不同场景如何选型与迁移。
金融场景里的问答,往往不是“从语料里抽出一句原文”那么简单。同一指标可能有多种统计口径,同一家公司可能有多份公开披露,同一笔计算可能依赖中间假设。只检查最终数字是否碰巧一致,很难判断智能体是否真正完成了检索、信源筛选、口径判断和推导。
因此,实践中逐渐形成两类评测思路:一类是结果导向,关注答案是否正确、是否完整;另一类是可追溯导向,除了结果,还要求过程合理、关键数据和结论能回到公开可访问的原始出处。本文对比这两类方法,帮助研发、评测和业务团队判断该用哪套标准、如何组合使用。
结果导向评测:把任务视为“给定问题,输出答案(及可选解释)”,用参考答案、规则或人工打分衡量对错、完整度、格式合规。它解决的是“产出是否可用”的问题,实施成本相对低,适合快速筛模型、看通识与基础计算能力。
可追溯导向评测(金融信息检索、信源与可回溯):把任务视为“检索—选源—定口径—计算—给出可核验结论”。除答案外,还评估:信息从哪里来、口径是什么、结论如何得出。它解决的是“答案是否经得起复核”的问题,更贴近投研、风控、合规对证据链的要求。
两类方法都面向金融智能体(检索、研究分析、长程任务、建模与业务办理等),但评价单元不同:前者以终点为主,后者以路径与证据为主。
结果导向评测的系统边界较窄:问题进、答案出,评测器比对参考答案或关键词。检索可以内嵌在模型里,也可以外挂搜索,评测往往不强制记录每次点击的页面。
可追溯导向评测把检索、信源集合、中间计算、引用片段都纳入边界。评测器需要:子问题拆解是否覆盖、是否显式计算、是否使用多个信源、未指定信源时能否自主判断。架构上更接近“带审计日志的研究工作流”,而不是单次补全。
金融搜索类基准常见特征(用于理解难度,而非某一产品独占能力)包括:超过五分之四的题目含多个相关子问题;约六成要求显式计算;约三分之一需要多个信源;约四分之三不直接指定信源。这意味着智能体必须自己决定搜什么、信谁、用哪套口径。
结果导向评测可以覆盖上述题目,但若只看最终数字,模型可能“蒙对”或抄到二手汇总而口径错误。可追溯评测则把“信源选择、口径判断、推导过程”写成可打分项,减少这种虚高。
接入结果导向:对接统一问答接口,约定输出 JSON 或纯文本即可,开发改造量小。
接入可追溯:通常要输出结构化字段,例如引用列表、口径说明、计算步骤、子问题答案。需要改造提示词、工具调用记录、引用规范化(标题、日期、段落定位)。团队若没有检索日志与引用规范,接入成本会明显高于“只交答案”。
结果导向延迟低、吞吐高,适合大批量回归。缺点是评分噪声:同义表述、单位换算、四舍五入、财年截止日差异会导致误杀或误放。
可追溯评测更稳的是“过程是否可复核”,但对检索时效、页面改版、镜像站点敏感。同一公开信源若改版,证据链可能断裂。需要版本化快照或“以题目发布日为准”的规则,否则稳定性不如静态参考答案。
金融答案一旦进入报告或对客渠道,不仅要正确,还要能说明依据。结果导向难以支撑审计抽查。可追溯评测天然对齐身份与权限之外的“内容审计”:关键数据能否回到权威原始出处、是否混用非官方二手解读、是否把预测当成已披露事实。
需要注意:评测用公开信源,不代表生产系统可以无限制抓取;生产仍要遵守站点协议、版权、个人信息与内幕信息隔离。评测通过不等于合规放行。
结果导向:题库维护、参考答案更新、抽检人工。人力主要在“改标准答案”。
可追溯:还要维护信源白名单策略、口径词典(如“营收”含不含某项)、计算脚本、引用解析。长期维护成本更高,但能把专家判断沉淀为可复用标准,减少每次上线都靠资深分析师口头验收。
不得把某一厂商的具体分数当作选型依据;综合得分随题集、检索工具、截止日期变化,只能作为相对参考。
| 维度 | 结果导向评测 | 可追溯导向评测 |
|---|---|---|
| 评价对象 | 最终答案及浅层解释 | 答案 + 检索/口径/计算过程 + 证据 |
| 典型问题 | 对不对、全不全 | 从哪来、口径是什么、怎么算出 |
| 题目设计 | 可单问单答 | 多子问题、多信源、常不指定来源 |
| 计算 | 可隐式蒙对 | 倾向要求显式步骤 |
| 接入改造 | 低 | 中高(结构化引用与日志) |
| 评测噪声 | 表述与舍入敏感 | 页面变更与时效敏感 |
| 合规审计 | 弱 | 强(可回溯) |
| 维护成本 | 相对低 | 相对高 |
| 适用阶段 | 模型初筛、通识回归 | 投研/对客前的专业验收 |
若业务只要求内部聊天、允许人工改稿,结果导向足够作为日常回归。若答案可能被引用到对外材料、投资建议或监管问询材料,应以可追溯为主,结果为辅。
若超过半数任务需要计算或多个信源,且多数题目不会把链接写进题面,仅核对终点数字会高估能力,应提高过程与证据权重。
若检索链路不稳定(超时、验证码、站点结构频繁变),先固定快照再谈可追溯,否则分数波动来自网络而非模型。
不要把“综合得分超过某些更大参数模型”解读为全面替代;那只说明在该题集与工具配置下相对更好,换检索后端或换截止日期后需要重测。
从结果导向迁到可追溯时:
与其他金融智能体基准(信息检索、长程执行、表格/建模、业务办理等)是互补关系:搜索可追溯解决“依据”,执行类基准解决“能不能把多步任务做完”。选型时应按能力图谱拼题,而不是用单一榜单代替全部。
结果导向回答“对不对”,可追溯导向还回答“信息从哪里来、口径是什么、结论如何得出”。金融搜索智能体的真实难点集中在多子问题、显式计算、多信源和未指定来源时的自主判断。初筛用结果、专业验收用过程与证据,并配套结构化输出、信源快照和口径约定,才能把专家经验变成可验证、可复用的评测标准,同时控制迁移与运维风险。