录屏演示生成技能与传统上下文生成法对比

一、为什么需要对比这两种技能生成方式

在自动化代理与智能助手快速发展的背景下，“技能沉淀”逐渐成为开发者关注的核心问题。所谓技能沉淀，指的是把一次或多次完成的工作链路，转化为可复用、可调用的标准化能力单元。早期做法通常依赖会话上下文：代理记录用户在对话窗口内的操作与反馈，再据此总结成技能描述。这种方式虽然接入成本低，但上下文中的干扰信息较多，生成质量不稳定。

另一种较新的思路则强调“先演示、后蒸馏”。用户在浏览器中完成一次完整操作，系统记录操作轨迹，再由大模型根据轨迹提取能力并生成技能。这种方式更接近人类学习中的“示范—模仿”机制，强调输入的纯净度和流程的完整性。两种思路在目标上高度一致，但在实现机制、生成质量和适用场景上存在显著差异。

二、两种方案的基本定义

1. 基于会话上下文的技能生成

该方式常见于通用代理或智能编码助手。用户在会话中完成一项任务，例如处理一批数据、查询一组接口或编写一段脚本，随后要求代理根据刚刚完成的工作生成技能。代理会回溯当前会话窗口内的历史记录，结合用户指令、执行结果以及中间修正过程，尝试抽象出一个可复用的技能。

这种方式的特点是输入信息丰富，但结构松散。会话中既包含核心工作流，也夹杂大量与任务无关的讨论、尝试、错误提示甚至闲聊内容。代理需要在这种混合信息中识别出有效步骤，蒸馏难度较高。

2. 基于录屏演示轨迹的技能生成

该方式要求用户在浏览器中实际操作一遍流程，例如登录、搜索、填表、提交。系统捕获页面跳转、点击、输入等操作事件，形成一条相对完整的操作轨迹。随后，大模型基于这条轨迹进行能力提取和归桶，生成可复用的技能。

这种方式的输入来自真实操作路径，天然带有顺序性、目的性和边界性。相比会话上下文，操作轨迹更接近“可观察的工作流”，有利于模型识别关键步骤和例外分支。虽然也需要后续蒸馏，但输入端的噪声明显减少。

三、相同点分析

两种方式在以下方面具有共同点：

• 目标一致：都是为了将人类完成过的任务转化为代理可重复执行的技能。
• 依赖大模型蒸馏：无论输入是会话记录还是操作轨迹，都需要大模型进行理解、抽象和结构化输出。
• 强调可复用性：生成结果通常包括触发条件、输入输出约定、执行步骤和异常处理等内容。
• 适用于代理型应用：二者都面向具备自主执行能力的智能应用或桌面代理，而非传统脚本或宏录制工具。
• 都存在一定的有损蒸馏问题：从原始执行过程到技能描述的转换过程中，都可能丢失细节或错误归纳。

这些共同点说明，两种方案并非替代关系，而是在技能生成链路中选择了不同的数据来源和采集方式。

四、核心差异分析

1. 上下文纯净度

基于会话上下文的生成方式，最大的问题在于上下文污染。一次会话中往往包含多轮试错、用户修改需求、代理自我纠正、无关提问等内容。模型很难稳定地区分“最终有效路径”与“中间干扰过程”。即使用户在生成技能前手动清理上下文，也需要花费额外精力。

录屏演示则从根本上控制了输入范围。用户只需展示一次完整、正确的流程，系统只采集浏览器操作事件，不涉及对话噪声。即使过程中出现一次点击错误，也可以通过重新录制或删除冗余步骤来修正。整体输入更接近“标准流程演示”，蒸馏的稳定性更高。

2. 工作流完整性

会话上下文可能缺少对页面级操作的精确描述。例如，用户可能只说“把表格提交了”，但代理无法从文本中得知下拉框如何选择、按钮如何定位、页面跳转后是否需要等待。这些细节在技能执行阶段至关重要。

操作轨迹天然包含页面元素、输入值、点击位置、等待时间等结构化信息。即使某些信息不完整，也可以通过多次录制或模型补全来增强。完整的工作流记录有助于生成更贴近真实执行环境的技能。

3. 生成稳定性

上下文生成方式对模型理解能力要求较高。模型需要从未结构化或半结构化的会话中提炼步骤、状态和条件。一旦上下文过长或逻辑跳跃，生成结果容易出现步骤遗漏、条件混淆或触发词偏差。

录屏轨迹则提供了一种半结构化的输入。操作事件类型有限，时间顺序明确，页面切换清晰。模型更多是在做“轨迹解释”而非“上下文推断”，生成结果的可预测性更强。这也是该方式更适合批量化技能沉淀的原因之一。

4. 跨应用与迁移成本

会话上下文通常与特定工具绑定，例如某个代理客户端或开发环境。换一个执行环境，技能可能需要重新适配。

录屏轨迹虽然采集自浏览器，但其生成的技能描述更偏中性和通用。例如，“打开登录页—输入账号—点击提交—等待结果页出现”这样的步骤，可以迁移到其他支持浏览器自动化的代理中。部分桌面代理也可以尝试导入这类技能，降低重复开发成本。

5. 学习与维护门槛

基于上下文的生成方式对用户要求较低，只需正常使用代理并在最后发出生成指令。但问题在于，用户往往不清楚哪些上下文会被采纳，也不容易控制生成结果的边界。

录屏演示方式需要用户提前规划流程，尽量保证操作清晰、无多余步骤。这对用户有一定要求，但换来的是更高的可控性和可维护性。用户可以决定哪些步骤进入技能，哪些步骤作为噪声被排除。

五、关键维度对比表

对比维度	基于会话上下文的技能生成	基于录屏演示轨迹的技能生成
数据来源	会话窗口内的对话与执行记录	浏览器操作事件轨迹
上下文纯净度	较低，夹杂干扰信息	较高，输入边界清晰
工作流完整性	依赖文本描述，可能缺失页面细节	包含操作顺序与元素状态，较完整
生成稳定性	受上下文质量影响大	受录制质量影响大，但总体更稳定
对用户要求	低，无需额外操作	需预演流程，保证操作清晰
生成结果可解释性	较难追踪步骤来源	可回溯每一步录入轨迹
迁移成本	与执行环境强相关，迁移需适配	技能描述通用性较高，迁移较方便
适用场景	快速试验、临时自动化	稳定流程沉淀、跨应用复用
主要风险	上下文污染导致技能偏差	录制不完整或异常分支缺失
维护方式	重新生成或手工修正	重新录制或增补轨迹说明

六、典型场景选择

1. 适合基于会话上下文生成的场景

• 一次性临时任务，不值得长期维护技能。
• 任务逻辑经常变化，每次执行差异较大。
• 用户无法提前预测完整流程，只能在会话中逐步探索。
• 执行环境与代理工具高度绑定，迁移需求不强。

在这些场景下，快速生成一个可用的技能片段，比追求稳定性和可解释性更重要。

2. 适合录屏演示轨迹生成的场景

• 流程固定、重复执行频率高，例如每日数据填报、定期报告导出。
• 涉及多步页面操作，例如登录、筛选、表单提交、结果下载。
• 希望技能在不同代理或执行环境中复用。
• 团队需要沉淀标准操作流程，并交由他人审核和优化。

这类场景对技能的准确性和一致性要求较高，值得在录制环节投入更多精力。

七、选型建议

实际工作中，两种方式可以组合使用。例如，先用会话上下文快速生成一个初步技能，验证流程是否可行；随后通过录屏演示重新录制标准路径，生成更稳定的版本。也可以先录制核心流程，再在会话中补充异常分支和注意事项。

在团队协作环境下，录屏演示的优势更明显。录制的轨迹可以作为评审依据，生成后的技能也更容易被其他成员理解和修改。而在个人快速实验中，上下文生成仍然具备效率优势。

因此，选择方案时不应简单判断优劣，而应关注任务是否长期复用、是否需要跨环境迁移、团队是否需要对流程进行审核，以及用户是否愿意为技能质量投入录制成本。

八、迁移与使用注意事项

若从基于会话上下文的方式切换到录屏演示方式，需要注意以下几点：

• 重新梳理标准流程：不要直接照搬旧技能中的步骤。应观察实际操作，确认哪些行为属于核心路径，哪些属于试错或临时调整。
• 控制录制长度：过长的轨迹会增加蒸馏难度。建议将复杂流程拆分为多个小段，分别生成子技能后再组合。
• 关注页面状态依赖：操作轨迹中可能包含登录态、缓存、弹窗等环境因素。生成技能时应注明前置条件。
• 验证异常分支：录屏只展示了成功路径，生成技能后需要补充超时、网络异常、数据缺失等处理逻辑。
• 统一技能描述格式：便于团队维护和跨代理迁移。可以约定触发词、输入参数、输出结果和失败重试规则。
• 保留原始轨迹记录：当技能执行失败时，能通过回放轨迹定位问题，而不是重新猜测。

九、总结

技能生成的核心难点，不在于模型是否强大，而在于输入是否足够干净、完整。基于会话上下文的生成方式降低了输入门槛，但引入了更多干扰；录屏演示轨迹则以更高的录制成本换取了更稳定的生成质量。两者在自动化技能建设中并非对立，而是分别适用于快速探索与长期沉淀两种不同阶段。

对于希望持续积累可靠技能的团队而言，逐步引入录屏演示式的生成机制，是降低技能蒸馏有损率、提高复用效率的有效路径。