简介:本文围绕终端智能体如何实现端侧优先、云侧增强与用完即删展开,说明端侧感知、云侧决策、端侧执行的架构落地方法,补充端侧模型选型指标、云侧调用异常兜底、高风险操作确认、成本控制模板与降级策略,帮助开发者在隐私合规、交互延迟和算力成本之间取得平衡。
端云明确分工并不是把所有任务简单交给云端,也不是要求终端独立运行一个大模型,而是根据任务属性、隐私等级、实时性要求和算力成本,设计端侧与云侧的职责边界。对于终端智能体而言,更合理的策略是“端侧优先、云侧增强、用完即删”。
端侧优先,是指高频、低延迟、涉及隐私的任务尽量在本地完成。例如屏幕解析、语音唤醒、敏感信息识别、简单意图判断、本地文件操作等,都不应频繁上传云端。云侧增强,是指复杂推理、跨应用规划、长文本理解、知识问答等任务,再交给云端完成。用完即删,则要求云端在任务结束后不保留不必要的用户数据,不将临时数据用于后续训练。
这套架构并不是在所有场景下都适用。需要提前设计降级策略:
端云分工的核心目标不是比较端侧和云端谁更强,而是让不同任务运行在合适的位置。
在实际终端智能体中,常见的协同模式是“端侧感知、云侧决策、端侧执行”。
| 环节 | 主要职责 | 典型任务 |
|---|---|---|
| 端侧感知 | 获取屏幕、语音、触控、传感器等本地信息 | 界面识别、语音唤醒、敏感信息脱敏 |
| 云侧决策 | 进行复杂推理、任务规划和知识整合 | 多步骤任务拆解、跨应用操作规划 |
| 端侧执行 | 在本地完成点击、输入、调用系统能力 | 打开应用、填写表单、执行快捷指令 |
一个典型的端到端流程可以表示为:
用户指令↓端侧采集界面与语音信息↓本地识别与结构化解析↓敏感信息本地脱敏(T1:脱敏完成)↓仅上传最小必要上下文↓云端创建短期会话并生成任务计划(T2:会话ID生效)↓端侧解析计划、校验权限、执行动作↓高风险操作要求用户确认↓任务完成或失败↓删除云端临时会话(T3:任务结束删除)
在这个流程中,敏感信息应在进入云端前完成本地脱敏。云端只接收结构化上下文,例如页面控件摘要、用户目标、已脱敏字段和当前步骤状态,而不是完整屏幕截图、原始录音或全部文档内容。
这种模式的优点是:端侧不需要运行一个全能大模型,只需要部署轻量模型完成屏幕解析、文本抽取、意图识别、本地脱敏等任务;云端则负责更复杂的推理和规划。
在终端智能体场景中,“端侧 GUI + 云侧 CLI”是一种清晰的工程分工方式。
这种分工的好处是,云端不需要直接访问完整屏幕图像或原始敏感数据,而是通过端侧预处理后的结构化信息进行决策。这样既能利用云端大模型的推理能力,又能减少隐私数据暴露。
一个包含异常处理的伪代码示例如下:
def run_task(user_input):try:screen_info = capture_screen()ui_elements = parse_ui(screen_info)safe_context = mask_sensitive(ui_elements)if not safe_context:return fallback("本地无法生成安全上下文")cloud_plan = call_cloud_model({"user_goal": user_input,"ui_context": safe_context},timeout=6,max_retries=2)if not validate_plan(cloud_plan):return fallback("云端返回结果解析失败")for step in cloud_plan.get("steps", []):if is_high_risk(step):if not confirm_user(step):clear_cloud_session(cloud_plan["session_id"], verify=True)return {"status": "canceled", "reason": "用户拒绝执行"}audit_log("high_risk_confirmed", step)if not execute_on_device(step):return fallback("端侧执行失败")clear_cloud_session(cloud_plan["session_id"], verify=True)return {"status": "success"}except PermissionDenied:return fallback("权限不足,需要用户授权")except NetworkError:return fallback("网络不可用,建议稍后重试或切换到本地模式")def call_cloud_model(payload, timeout, max_retries):for attempt in range(max_retries + 1):try:return request_cloud(payload, timeout=timeout)except TimeoutError:if attempt == max_retries:raisesleep(backoff(attempt))except NetworkError:if attempt == max_retries:raisesleep(backoff(attempt))return fallback("云端调用失败")
这里的重点是:端侧负责“看见”和“执行”,云侧负责“理解”和“规划”。同时,系统必须具备超时、重试、网络失败、解析失败、权限拒绝时的本地兜底和用户确认机制。敏感数据在进入云端前应尽量完成本地脱敏,云端会话在任务结束后应立即清理。
端侧模型不需要追求过大参数规模,而应强调低延迟、低功耗、本地可用性和可回退性。适合放在端侧的任务通常包括:
在端侧模型选型时,不能只看模型能力,还要建立可核验的工程指标:
| 指标类型 | 建议关注内容 |
|---|---|
| 延迟 | 单步识别延迟、端到端响应延迟,例如屏幕解析 P95 延迟、语音唤醒响应时间 |
| 内存 | 常驻内存、峰值内存,避免影响系统后台应用 |
| 算力 | CPU、NPU、GPU 占用率,优先选择可调用 NPU 的轻量模型 |
| 功耗与发热 | 连续运行时的平均功耗、设备温升情况 |
| 识别精度 | UI 解析准确率、控件定位准确率、OCR 字符准确率、意图分类准确率 |
| 脱敏质量 | 敏感信息召回率、误报率、占位符一致性、不可逆策略 |
| 回退能力 | 模型失败时能否切换规则引擎、本地模板或人工确认 |
端侧模型的价值不在于替代云端大模型,而在于减少不必要的云端调用,并降低隐私风险。尤其是脱敏能力,应做到敏感字段在进入云端前被替换或删除,且原始内容不被缓存、不被写入日志。
云侧更适合处理需要较强推理能力、知识整合能力和跨场景规划能力的任务。例如:
云侧处理完成后,应只返回必要结果,例如结构化步骤、摘要文本或操作指令,而不是长期保存原始屏幕、语音或用户输入。
关于“用完即删”,需要明确前置条件。所谓不落盘、不用于训练,并不能只依赖口头承诺,而应以服务商合规条款、专有实例配置、数据保护协议或技术审计结果为依据。团队在接入云侧服务前,应至少确认:
如果云端删除失败,系统不能默认任务成功结束。应执行删除重试;若仍失败,应隔离该会话,通知相关责任人,并在产品界面中提示用户。对于高敏感任务,还应记录删除策略、执行结果和失败原因,以便合规审计。
“用完即删”不是一句口号,而需要在系统设计中落实。可以从以下几个方面实现:
在实践中,还应避免几类常见错误:
在实际项目中,可以按照以下步骤设计端云明确分工架构。
先列出终端智能体需要支持的任务,例如:
然后判断每个任务是否必须依赖云端。对于高频、低延迟、高隐私任务,应优先设计为本地完成。
可以按以下标准划分:
| 判断维度 | 更适合端侧 | 更适合云侧 |
|---|---|---|
| 延迟要求 | 高 | 中低 |
| 隐私等级 | 高 | 中低 |
| 算力需求 | 低 | 高 |
| 网络依赖 | 弱 | 强 |
| 任务复杂度 | 简单 | 复杂 |
端侧模型可以包括:
这些模型可以组合使用,不一定需要单个模型完成所有任务。模型选型应同时考虑延迟、内存、算力、精度、功耗和回退能力。
云端接口建议返回结构化结果,而不是自然语言长文本。例如:
{"steps": [{"action": "open_app", "target": "notes"},{"action": "input_text", "target": "title", "value": "报销材料整理"},{"action": "save", "target": "local_file"}],"need_user_confirm": true}
这样端侧执行器更容易解析和执行,也便于做权限校验和异常兜底。
对于涉及支付、删除、发送消息、修改系统设置等高风险操作,必须要求用户确认。云端可以给出建议,但最终执行权应保留在端侧。高风险操作还应记录可审计日志,至少包括操作类型、目标对象、用户确认结果、执行时间和失败原因。
端云明确分工并不意味着云端模型不重要,而是要求更精细地选择云端模型。不同模型在推理能力、响应速度、上下文长度、调用成本和适用场景上可能存在差异。
在选型时,可以重点关注:
团队可以建立简单的成本控制模板:
| 指标 | 示例目标 |
|---|---|
| 单次任务 token 数 | 控制在任务所需最小上下文范围内 |
| 调用频次 | 区分高频本地任务和低频云端任务 |
| 缓存命中率 | 对重复问答、重复解析结果进行本地或短期缓存 |
| 端云分流比例 | 例如 70% 任务本地完成,30% 任务上云 |
| 单次任务成本 | 云侧调用成本除以任务数,持续跟踪优化 |
成本控制的关键不是一味降低模型能力,而是避免把简单任务也交给云端。高频简单任务应尽量端侧完成,低频复杂任务再调用云端,同时通过缓存、批处理和结果复用降低重复调用。
可以将任务拆分为多个小模型协作。例如 OCR 负责文字识别,UI 模型负责控件识别,规则引擎负责简单判断。只有复杂部分才交给云端。这样既降低单模型压力,也更容易做局部回退。
可以要求云端输出结构化 JSON,并在端侧增加校验和兜底策略。如果解析失败,可以请求用户确认或降级为本地规则执行。端侧不应盲目执行不可信指令。
坚持“能本地处理就不上云”。必须上云时,只上传脱敏后的必要字段,并设置短期会话和自动删除机制。不要上传完整屏幕图像,不要将会话 ID 写入日志,不要默认云侧永久保存结果。
高频简单任务尽量端侧完成;低频复杂任务再调用云端。同时可以通过缓存、批处理和结果复用降低重复调用。对于弱网、离线或云服务不可用场景,应提前准备本地降级路径。
支付、删除、发送、修改系统设置等操作必须由用户明确确认,并记录审计日志。云端只能给出建议或步骤,不能默认获得执行权限。
端云明确分工的关键,不是简单比较端侧和云端谁更强,而是根据任务特性设计合理的协作边界。终端智能体可以采用“端侧感知、云侧决策、端侧执行”的模式,让端侧负责界面理解、敏感信息处理和本地执行,让云端负责复杂推理与任务规划,并通过“用完即删”降低隐私风险。
对于开发者而言,落地时应重点关注任务分类、端侧轻量模型选型、云端结构化接口、数据脱敏、异常兜底、权限确认、审计日志和调用成本管理。只有在隐私、延迟、算力和成本之间建立清晰的边界,终端智能体才能既安全又实用。
资料参考:百度智能云词元所(模型能力、价格与性能对比)https://cloud.baidu.com/product-s/token_exchange.html?from=article