简介：本文给出AI模型与工具的选型流程，涵盖适用范围、候选登记、五维评分、样本测试、成本核算和上线安全检查。读者可按文中的样本分层、评分模板与复现参数操作，算清单次有效结果的真实成本，避免只看榜单做决定，并在上线前完成合规审批。
一、适用范围与前置条件
本流程面向需要在多模态交互、长文本处理、复杂推理、实时语音翻译等场景中选型的开发与采购团队。它比较候选方案在自有业务中的有效产出与总成本，不判断哪个模型绝对更强。公开榜单分数可用于初筛，但不能替代业务样本上的测试。
开始前需要准备以下条件：
| 样本层级 | 定义 | 数量 | 用途 |
|---|---|---|---|
| 常见情况 | 日常高频请求 | 150条 | 反映多数真实流量 |
| 边缘情况 | 输入格式异常、长度极端、术语少见 | 100条 | 检验稳健性 |
| 高风险情况 | 涉及个人信息、病历、金额、法律条款 | 50条 | 检验错误代价 |
数据审批要求如下。样本含个人信息或病历等敏感内容时，必须先脱敏，再由数据负责人书面批准测试。团队还要确认目标服务的数据条款允许测试，包括是否使用输入数据训练模型。完整的安全合规检查清单见第五节。
样本少于300条、业务目标无法量化、或只需要演示效果时，评分结果不可靠，不宜作为决策依据。
二、候选登记与版本控制
候选对象可分为三类，每类的选型问题不同。
高算力通用大模型：单价较高，适合多步推理和长文档综合分析。选型时先问：任务是否确实需要多步推理？若多数请求是简单问答或字段抽取，高算力模型通常不划算。例如，客服常见问题的自动回复一般不需要它。
轻量快速模型：延迟低、吞吐高，常以低价或免费形式通过插件、命令行工具提供，适合代码补全、简单抽取和高频问答。选型时先问：准确率能否在样本上达标？价格低只说明成本低，功能测试仍然必做。它通常不适合需要长链条推理的合同审查。
垂类专项模型：针对同声传译、医学病历等领域优化，通常具备流式输出或证据溯源能力。选型时先问：业务是否真的需要流式输出或引用来源？若业务只处理离线整段文本，流式能力就用不上。同时要确认领域数据能否合规送入该服务。
每个候选在测试前需登记以下字段：
云端模型可能在无通知的情况下更新，导致结果漂移。因此版本和日期为必填项。被淘汰的候选也要记录淘汰原因和测试日期，便于日后追溯。
复测触发条件包括以下几种：
出现触发条件后，按以下流程处理：暂停新候选上线，用同一批300条样本重新测试，对比五维分数。若任一维度未过线，切回上一个版本或备选候选。最后记录原因、日期和回滚结果。
三、五维评分量表与加权公式
评分分两步进行。第一步是过线判定。每个维度都有业务设定的阈值，任一维度未过线，候选直接淘汰，不再计分。第二步是加权计分。
| 维度 | 过线阈值（示例） | 权重 | 评分依据 |
|---|---|---|---|
| 功能有效性 | 准确率不低于业务目标；评审一致性kappa不低于0.6 | 35% | 样本正确率、评审一致性 |
| 性能 | P95延迟不高于业务上限（交互场景示例为2秒）；超时率不高于2% | 20% | 响应时间、吞吐、超时率 |
| 成本 | 单次有效结果成本不高于预算 | 20% | 见第四节 |
| 易用性 | 工程师接入耗时不高于3人日；文档与错误信息可理解 | 10% | 接入耗时、文档评审结果 |
| 稳定安全 | 测试期可用率不低于99.5%；合规检查全部通过 | 15% | 可用率、第五节清单结果 |
kappa按下式计算：κ = (p_o − p_e) ÷ (1 − p_e)，其中p_o为两名评审的实际一致率，p_e为随机一致率。
过线维度按余量打分，每个维度取3至5分：
加权总分公式如下，权重之和为1，满分为100分：
总分 = Σ (w_i × s_i ÷ 5) × 100
其中w_i为第i个维度的权重，s_i为该维度的得分。
计算示例：候选A五个维度的得分分别为功能4分、性能3分、成本5分、易用性4分、稳定安全4分。