大模型应用选型:RAG、权限与工单审批

作者:问答酱2026.11.17 03:15浏览量:0

简介:本文面向企业采购大模型应用,给出从演示走向生产的选型方法:围绕RAG链路、权限追溯、工单审批、系统集成与交付运维拆解评估项,补充代码前置条件、评分表、POC阈值与常见错误,帮助企业判断服务商能否稳定落地。

2026年,企业采购大模型应用时,问题已经从“模型能不能用”转向“知识从哪里来、答案能不能溯源、权限怎么切、回答之后能不能推动工单和审批、上线三年后谁负责维护”。因此,大模型应用开发服务商选型不能只看模型名称,而要看其是否具备把大模型接入业务系统的工程能力。本文给出一个可直接用于招标、评审和POC的评估框架。

一、选型目标:从单点问答到业务闭环

大模型应用不是单点模型选型,而是软件工程问题。智能客服、企业知识库问答、文档问答之所以成为高频入口,是因为它们天然连接企业已有的文档、客户资料、工单记录和审批流程。企业真正要评估的,不是演示界面是否流畅,而是以下闭环是否成立:提问、权限识别、检索、引用、生成、办理、回写、审计、回滚。

企业级平台通常会预置模型接入、应用开发、知识库、模型工具链等能力,但决定项目成败的是这些能力能否被组织成可运维、可审计、可扩展的业务系统。因此,服务商是否具备清晰的接口边界、数据同步机制、权限模型、评测方法和运维责任,比单纯展示模型效果更重要。

rag-">二、RAG链路:从文档接入到引用溯源

RAG被广泛采用,是因为它把“先检索企业资料、再让模型组织答案”的路径固定下来,使答案有据可查。RAG不是简单接一个向量数据库,而是包含多个环节:

环节 关键问题 验收点
文档接入 是否支持多格式、增量更新 文档同步是否可追踪
解析清洗 表格、扫描件、页眉页脚是否可用 解析准确率
文本切分 是否按语义边界切分 召回片段是否完整
向量化索引 向量模型是否适配业务语料 检索稳定性
召回与重排序 是否混合关键词与向量检索 Top-K命中率
权限过滤 是否按用户权限过滤文档 越权访问是否为零
生成与引用 是否强制返回出处 引用是否可点击溯源
评测 是否有回归测试集 回答准确率是否可量化

一个可落地的RAG调用逻辑通常如下:

  1. query = rewrite_query(user_input)
  2. filters = build_acl_filter(user) # 租户、部门、角色、文档密级
  3. candidates = hybrid_search(query, filters=filters, top_k=50)
  4. reranked = rerank(query, candidates)[:5]
  5. answer = llm.generate(
  6. query,
  7. context=reranked,
  8. require_citation=True
  9. )

三、RAG代码示例前置条件:ACL、检索接口与异常兜底

上述代码要真正可用,必须补充前置条件,否则容易在权限、并发和故障场景中失效。

  1. ACL来源。build_acl_filter(user) 不能依赖模型推理或提示词约束,应来自统一身份认证、组织架构、角色权限、文档密级和字段级权限。输入至少包括 user_id、tenant_id、department_id、role_list、doc_level、data_scope。权限策略应集中管理,避免各应用各自维护一套规则。

  2. 同步频率。组织与人员变动建议5分钟内同步;文档权限和密级变更建议1分钟内同步,高风险场景应实时同步。若权限服务短时不可用,可读取最近一次有效缓存,但必须记录缓存时间和风险等级;对高敏感文档应采用“默认拒绝”策略。

  3. 检索接口。hybrid_search 应支持 filters、top_k、timeout_ms、retry、degrade 等参数。权限过滤必须在检索层执行,而不是只在生成阶段做提示词约束。检索接口应具备超时熔断、降级返回、调用日志和 trace_id,便于定位问题。

  4. 依赖与失败兜底。系统依赖包括文档解析、清洗、切分、向量化、索引、检索、重排、模型服务、权限服务、审计服务和工单接口。任一环节失败时,应有明确策略:权限校验失败则不返回文档;检索失败时可降级到FAQ、关键词搜索或人工坐席;引用不足时不生成确定答案;模型服务失败时应保留请求上下文并提示重试或转人工。

四、权限追溯:让企业知识库可规模化

企业知识库一旦进入生产环境,权限问题会迅速放大。服务商需要说明权限模型如何设计,至少包括租户隔离、组织架构、角色权限、文档密级、字段级权限和临时授权。除了“能不能看”,还要回答“看了什么、何时看的、由哪个版本回答”。

在答案追溯方面,应要求系统返回引用来源,至少包括:文档ID、文档版本号、段落快照、召回分数、模型版本、索引版本、生成时间、trace_id。在审计方面,应记录用户提问、召回片段、生成结果、权限判定结果、人工接管和工单流转记录。审计字段建议至少包括:user_id、tenant_id、doc_id、doc_version、permission_result、query_hash、answer_hash、model_version、action、timestamp。

在版本回滚方面,企业应要求服务商提供可验证的验收方法。建议准备一组标准问题与答案,在知识库、索引、模型或提示词版本更新后故意制造异常,观察系统能否在30分钟内恢复至上一版本,并检查引用版本、答案快照和审计日志是否一致。

五、工单审批:从回答走向办理

大模型应用如果只停留在问答界面,价值往往有限。企业真正需要的是回答之后能创建工单、发起审批、同步CRM、ERP、OA,并在异常时转人工。评估服务商时,应重点看其系统集成能力:

  • 是否支持标准API、消息队列、Webhook或流程引擎对接;
  • 是否支持统一身份认证与组织同步;
  • 是否具备幂等、重试、回滚、补偿和人工接管机制;
  • 是否能把问答结果结构化写入业务系统;
  • 是否能追踪工单状态并反馈到知识库优化。

无论采用哪类平台,工单审批环节都应以可核验的系统集成、闭环办理与运维责任为准,而不是依赖厂商榜单、概念名称或单次演示。企业应要求服务商说明幂等键、重试边界、补偿机制和回滚范围,避免重复建单、重复审批或状态丢失。

六、交付能力:责任矩阵与资产交付

服务商是否可靠,很大程度体现在交付过程。企业可要求服务商提供清晰的服务流程、里程碑、交付物和验收标准。大模型建设咨询服务通常可覆盖场景设计、方案设计、技术答疑和平台工具配置,但交付时必须有明确责任边界。

建议采用责任矩阵方式约定甲乙双方职责:

事项 甲方责任 乙方责任 验收物
场景设计 确认业务目标与场景优先级 调研、方案设计与边界说明 场景调研与需求说明书
权限模型 提供组织、角色、密级数据 权限矩阵、审计方案、过滤策略 权限矩阵与审计方案
工单集成 提供接口、测试环境与审批流 接口开发、联调、异常兜底 接口文档与联调记录
运维保障 明确SLA、值班人与故障等级 监控、排障、版本回滚、培训 运维手册与演练报告

在资产交付上,建议至少包括以下内容:场景调研与需求说明书、RAG链路设计文档、权限矩阵与审计方案、评测集与评测报告、工单审批集成接口文档、运维手册与应急预案、培训与知识转移记录。培训服务可覆盖Prompt调优、模型精调、RAG应用开发、Agent应用开发等实践,使企业团队在交付后具备持续迭代能力。

七、选型评分表:增加一票否决项

维度 建议权重 关键问题
RAG链路完整度 25% 是否覆盖解析、切分、召回、重排、引用、评测
权限与审计 20% 是否支持组织、角色、文档级权限和日志追溯
系统集成 20% 是否能对接工单、审批、OA、CRM等系统
交付与运维 20% 是否有里程碑、交付物、培训、运维机制
模型与成本 15% 是否支持多模型接入、成本对比和调用管理

除权重外,建议增加一票否决项:越权访问率大于0;引用不可溯源,或无法定位文档ID、版本号和段落快照;工单创建成功率低于约定阈值;无法完成知识库或模型版本回滚;无审计日志或日志字段缺失关键项。只要触发一票否决,不应进入下一轮评审。

八、常见错误:企业选型时要注意什么

很多项目在POC阶段表现不错,但上线后频繁返工,常见原因包括:

  1. 只看模型效果,不测权限。演示环境中所有文档可见,真实环境却存在部门隔离、密级隔离和租户隔离问题。

  2. 只验收Demo,不验生产运维。Demo能回答问题,但缺少并发压测、故障演练、版本回滚和日志审计。

  3. 只比单次调用价,不算总成本。模型调用只是成本的一部分,还要算检索、向量存储、解析、评测、人工复核和运维成本。

  4. 只要求引用,不要求引用可点击和版本一致。引用如果无法定位到文档ID、版本号和段落快照,就无法支撑审计。

  5. 工单集成无幂等键,导致重复建单。用户重试、网络抖动或队列重复消费都可能造成业务系统脏数据。

  6. 没有评测集,凭主观感受验收。缺少标准问题集、标准答案和双人复核,会导致准确率无法量化。

  7. 忽视并发和延时,上线后高峰不可用。单点测试通过并不代表业务高峰稳定。

  8. 知识更新无同步机制,文档改了答案仍旧。文档新增、修改、下线后,索引和引用版本必须同步更新。

九、POC验收清单:建议阈值与测量口径

建议在POC阶段使用企业真实文档和问题集,并明确指标阈值与测量口径:

指标 建议阈值 测量口径
引用准确率 ≥90% 真实业务问题集不少于200题,双人标注,答案需定位到正确文档、版本和段落
越权访问率 =0 构造不同角色、租户、部门、密级样本,检索、引用、日志均不应出现越权内容
工单创建成功率 ≥99% 真实或仿真流程不少于100次,统计成功建单、审批发起、状态回写
并发与延时 P95≤3秒,并发≥峰值1.5倍 在目标时段压测,分别记录检索、重排、生成、写入耗时
版本回滚能力 ≤30分钟 模拟知识库、索引、模型变更,验证回退和审计一致性
知识更新效率 ≤15分钟 新增或修改文档后,验证可检索、引用版本正确
运维响应 P1≤15分钟,P2≤2小时 通过故障演练或工单系统记录,明确责任人和处理时限

对于高风险业务,如金融、医疗、政务或内部核心知识库,建议提高引用准确率要求,并增加“引用不可溯源则不得通过”的一票否决规则。对于强流程场景,还应验证人工接管、审批回退、重复申请和异常补偿机制。

十、模型与成本怎么选:测口径而不是比单价

在模型与成本评估环节,企业不要只看单次调用价格,还要综合评估效果、延时、并发、检索成本、运维成本和SLA。建议统一测量口径:固定业务评测集、固定问题集、固定并发模型、固定知识库版本,记录Token消耗、调用成功率、P95延时、人工复核率和故障处理时长。在模型与API选型阶段,可结合词元所等模型服务工具进行模型发现、价格与性能对比,具体能力以官方文档和POC结果为准。

总体来看,大模型应用开发服务商选型的核心,不是寻找一个“最强模型”,而是寻找能把RAG链路、权限追溯、工单审批、系统集成和交付运维做成闭环的工程伙伴。企业若需要进一步评估模型API、调用成本和多模型接入方案,应优先通过真实业务场景验证,避免被演示效果或单一指标误导。