系统提示中的隐藏变量如何影响大模型评测：固定上下文与动态上下文对比

一、问题的起点：一个被忽视的变量

在讨论大语言模型的能力时，我们通常关注模型参数规模、训练数据质量、推理策略、提示词设计等显性因素。但有一类变量长期处于视野边缘：系统提示中由平台自动注入、用户不可见的上下文信息。

这类信息可能包括当前日期、时间戳、会话标识、区域设置等。它们不由用户编写，也不出现在用户可见的对话历史中，但会作为模型输入的一部分参与推理。问题在于：当同一道题目在内容上与这些变量毫无关联时，它们是否仍然会影响模型的输出结果？

围绕这个问题，可以将评测条件分为两种典型形态进行对比：

• 固定上下文评测：每次调用模型时，系统提示中的动态变量保持一致，或完全剥离；
• 动态上下文评测：系统提示中的动态变量随真实环境变化，例如日期每天不同。

本文要对比的，正是这两种评测条件在技术逻辑、结果稳定性、可复现性和工程实践上的核心差异。

二、两种评测条件的基本定义

2.1 固定上下文评测

固定上下文评测指在测试过程中，控制所有输入变量不变，包括用户提示、系统提示、温度参数、随机种子等。其目标是让模型在完全相同的外部条件下作答，从而衡量模型能力本身的稳定表现。

这种方式的假设是：如果输入完全一致，输出也应具有可比性。它强调可复现性和变量隔离。

2.2 动态上下文评测

动态上下文评测则允许系统提示中的环境变量随真实时间或运行环境变化。例如，平台在每次请求时自动注入“今天是某年某月某日”。用户看不到这段文字，但模型会接收到。

这种方式的假设是：模型在真实使用中本就面对动态环境，评测应当贴近实际部署条件。它强调生态效度和真实场景还原。

三、相同点：两者共享的基础逻辑

尽管两种评测条件在变量控制上取向不同，但它们并非完全对立。二者在以下方面具有共同点：

1. 目标一致：都试图衡量模型在特定任务上的能力表现，如选择题问答、数学推理、代码生成、机器翻译等。
2. 依赖相同的模型接口：无论固定还是动态，模型接收到的仍是“系统提示 + 用户提示”的组合输入。
3. 受同一类推理机制影响：模型对上下文的注意力分配、语义关联和模式补全能力，是两种条件下共同的作用基础。
4. 都可能受到提示词敏感性的干扰：即使题目内容与日期无关，模型仍可能因为上下文中的额外token而产生输出偏移。

因此，二者不是“正确与错误”的关系，而是“控制程度不同”的关系。

四、核心差异分析

4.1 变量控制与可复现性

固定上下文评测的最大优势在于可复现性。当所有输入被锁定，任何两次运行之间的差异都可以归因于模型内部的随机性（如采样策略）。这使得横向对比不同模型、不同版本时更有说服力。

动态上下文评测则引入了一个持续变化的隐藏变量。即使题目完全相同，日期不同也可能导致输出不同。这种差异不是来自模型能力变化，而是来自输入分布的变化。对于排行榜和基准测试而言，这会直接削弱结果的可比性。

4.2 对评测结果的影响幅度

从已有研究结论看，这种影响并非理论上的微小扰动。在选择题问答中，准确率差值可达数个百分点；在数学推理任务中，差值更为明显；代码生成任务即便以单元测试通过率作为客观标准，仍会出现波动；机器翻译的自动评分指标也会受到影响。

这意味着：一个隐藏的、与题目无关的上下文变量，足以改变模型在排行榜上的相对位置。

4.3 任务类型的敏感度差异

不同任务对动态上下文的敏感程度不同：

任务类型	敏感度	原因分析
选择题问答	中	选项固定，但上下文偏移可能影响注意力分配
数学推理	高	多步推理对上下文一致性更敏感，微小扰动可能改变中间步骤
代码生成	中高	即使有客观测试，生成路径仍可能因上下文变化而不同
机器翻译	中	评分指标对表面形式变化较敏感，但语义稳定性相对较高

4.4 工程实践中的成本与复杂度

固定上下文评测需要额外的基础设施来锁定环境变量，例如固定系统时间、隔离会话状态、记录完整输入快照。这会增加评测流水线的复杂度，但换来的是结果的可审计性。

动态上下文评测更贴近真实部署，但代价是结果难以复现。当评测结果出现异常时，排查难度更高，因为隐藏变量不在用户可控范围内。

4.5 安全与合规视角

从安全与合规角度看，系统提示中注入用户不可见的信息本身并非问题，但需要满足以下条件：

• 可审计：平台应能记录并导出每次请求的完整输入，包括隐藏部分；
• 可解释：当模型输出异常时，能够定位是否与隐藏变量有关；
• 可控：用户或评测方应有权选择是否启用动态变量注入。

固定上下文评测在合规审计上更友好，因为输入边界清晰。动态上下文评测则需要平台提供额外的透明度机制。

五、对比表格总结

对比维度	固定上下文评测	动态上下文评测
变量控制	严格控制，所有输入一致	允许隐藏变量随环境变化
可复现性	高	低
生态效度	较低，偏离真实使用	较高，贴近真实部署
结果稳定性	高	受日期等变量影响
排行榜可比性	强	弱，名次可能随日期洗牌
工程复杂度	较高，需锁定环境	较低，但排查困难
审计友好度	高	依赖平台透明度
适用场景	基准测试、模型对比、学术研究	真实场景模拟、长期运行监测

六、典型场景下的选择建议

6.1 基准测试与排行榜

如果目标是发布可比较的模型排名，应优先采用固定上下文评测。至少需要做到：同一批次测试中，所有模型的系统提示保持一致；公开评测时的日期变量处理策略；记录完整输入快照以供复核。

6.2 真实部署前的验收测试

如果目标是评估模型在实际业务环境中的表现，可以采用动态上下文评测，但需要配合以下措施：

• 多次运行取分布，而非单次得分；
• 记录每次运行的隐藏变量；
• 对关键任务设置容忍区间，而非绝对阈值。

6.3 长期运行监测

对于已上线的系统，建议将动态上下文视为噪声源之一，建立监控机制。当模型表现出现异常波动时，除了检查用户输入和模型版本，也应检查系统提示中的动态变量是否发生了变化。

七、迁移与使用注意事项

如果从动态上下文评测切换到固定上下文评测，或反之，需要注意：

1. 数据对齐：历史评测结果可能无法直接比较，需要重新建立基线；
2. 接口适配：部分平台可能不允许用户控制系统提示中的隐藏变量，需要确认可配置性；
3. 权限与合规：隐藏变量的注入和记录涉及数据治理，需明确责任边界；
4. 成本评估：固定上下文需要额外的环境隔离和日志存储，动态上下文需要额外的波动分析和告警；
5. 稳定性风险：在动态条件下，同一模型在同一题目上的表现可能不同，不宜以单次结果作为最终判断。

八、总结

固定上下文评测与动态上下文评测的核心差异，不在于哪个“更好”，而在于控制程度与真实程度之间的权衡。

• 当目标是可复现、可比较、可审计时，固定上下文是更稳妥的选择；
• 当目标是贴近真实、观察长期表现时，动态上下文更有参考价值，但必须接受结果波动并建立相应的分析机制。

更重要的是，这一对比揭示了一个常被忽略的事实：系统提示中的隐藏变量，虽然用户看不见，却可能实质性地影响模型输出。对于评测方、平台方和模型使用方而言，明确这些变量的存在、作用范围和可控性，是提升评测可信度和工程可靠性的必要一步。