一、背景：终端智能进入“系统级集成”阶段

近期，多家智能终端厂商陆续宣布将大模型能力引入操作系统：语音助手在处理特定请求时可借助云端大模型的知识；系统级写作工具支持“从零开始”创作原创内容；视觉智能则通过摄像头实现对周围物体、场所的实时理解与问答。

这类集成的意义不止于功能叠加。对普通用户而言，它把大模型能力“藏”进了系统默认入口，无需安装额外应用即可获得创作、阅读与识别能力；对开发者与企业而言，其背后沉淀的是一套可复用的工程范式——请求如何在端侧与云端之间路由、上下文如何注入与保护、多模态能力如何编排、账号与隐私如何分级设计。本文围绕这些核心问题逐一展开。

二、整体架构：端云协同的三层设计

业界主流做法可概括为“系统集成层—智能路由层—模型服务层”三层结构。

1. 系统集成层

操作系统把语音助手、写作工具、视觉识别入口做成全局能力：写作工具可被任意应用的文本输入区唤起，实现润色、改写、续写与创作；视觉智能调用系统相机权限完成取景理解；语音助手可在用户授权范围内获取屏幕上下文。这一层的关键设计是入口标准化——把异构的用户请求归一化为“带上下文、带意图标签、带权限声明”的结构化请求，供下层统一消费。

2. 智能路由层

并非所有请求都需要大模型。路由层通常综合以下维度决策：

• 指令确定性：设闹钟、开灯、拨打电话等确定性指令由端侧意图识别引擎直接执行，毫秒级返回；
• 能力需求：开放域问答、长文创作、文档理解、图像问答等需要世界知识与生成能力的请求，转发云端大模型；
• 隐私敏感度：含个人敏感信息的请求优先端侧处理，或在用户明确授权后再上云；
• 延迟与成本预算：高频简单请求可由端侧小模型或结果缓存兜底，降低云端成本。

示意性伪代码：

def route(request, user):
    if request.intent in DETERMINISTIC_INTENTS:
        return local_intent_engine.handle(request)
    needs_cloud = (request.needs_knowledge or request.needs_creation
                   or request.has_image or request.has_file)
    sensitive = privacy_scan(request.payload)
    if needs_cloud and (not sensitive or user.consented):
        return cloud_llm.handle(request)
    if needs_cloud and sensitive:
        return on_device_model.handle(request)   # 端侧兜底
    return local_intent_engine.handle(request)

3. 模型服务层

云端承担复杂推理，需要解决高并发调度、多模态输入编码、内容安全审核、流式返回与故障降级等问题。该层通常以统一的推理服务承接终端请求，配合弹性伸缩与灰度发布机制，保障体验稳定。

三、三大核心场景的技术实现

1. 写作工具：从“改写”到“从零创作”

传统系统级写作工具以校对、润色为主，属于对既有文本的变换；接入大模型后，能力边界扩展到原创内容生成。工程上需要解决四件事：

• 意图与约束结构化：把“写一封邀请函”拆解为任务类型、语气、篇幅、场合等槽位，组装成受控的指令模板，避免开放式提示词带来的输出不可控；
• 上下文注入：在用户授权下读取当前应用的文本内容，实现上下文感知的改写与续写，而不是孤立生成；
• 生成质量控制：输出内容需经过内容安全审核；涉及事实性表述时，可结合检索结果进行约束，降低幻觉风险；
• 多轮迭代：支持“再正式一点”“压缩到三句话”式的增量修改，服务端保留会话状态以理解指代关系。

2. 文档与图像理解：让提问穿透资料

用户可针对照片以及 PDF、演示文稿等文档直接提问，其本质是检索增强生成（RAG）与多模态理解的组合：

• 解析：版面分析定位标题、段落与表格，OCR 提取文本；含图表的页面可交由视觉模型补充理解；
• 切块与向量化：按语义边界切块并生成向量，写入向量索引；
• 检索增强生成：按用户问题召回相关片段，作为上下文交给大模型生成可溯源的答案。

示意性代码：

def answer_from_document(doc_bytes, question):
    pages = layout_analysis_and_ocr(doc_bytes)      # 版面分析 + OCR
    chunks = semantic_chunk(pages)                  # 语义切块
    vectors = embedding_model.encode(chunks)        # 向量化
    top_k = vector_db.search(question, k=5)         # 相关性检索
    context = "\n---\n".join(c.text for c in top_k)
    return llm.generate(
        system="基于给定资料回答问题并标注出处，资料未覆盖时如实说明。",
        user=f"资料：\n{context}\n\n问题：{question}"
    )

工程细节上，已解析的文档应缓存解析结果，避免重复上传与重复计算；跨页表格需要合并逻辑；答案应支持点击出处跳转原文位置，用可验证性建立用户信任。

3. 视觉智能：摄像头成为交互入口

视觉智能允许用户举起摄像头了解周围物体、场所等场景并直接问答，链路包括：

• 按需取帧：从相机流中按交互节奏抽帧，在功耗、带宽与实时性之间取得平衡；
• 多模态理解：识别画面中的实体、文字（招牌、菜单、标签）与场景类型，形成结构化描述；
• 场景问答：将画面描述与用户问题结合，生成面向当下的有效回答，例如翻译招牌文字、介绍地标背景、比较货架商品。

隐私上，相机帧属于高敏数据，默认应最小化上传（仅上传触发问答的关键帧），并在界面上明确提示数据去向。

四、账号与隐私：两种模式的边界设计

从行业公开实践看，终端集成大模型普遍提供两种账号模式，其隐私边界截然不同：

维度	免登录模式	登录模式
身份关联	不关联终端账号信息	关联模型服务账号
历史记录	请求与回复不保存	可保存至云端历史
模型训练	不用于训练	遵循用户账号设置
典型场景	开箱即用、隐私优先	跨设备同步、进阶功能

免登录模式下，用户无需任何账号即可使用大模型扩展能力处理提问、写作、图像与文件等请求；登录后，用户可将相关请求保存到云端历史记录，并解锁对应套餐提供的高级功能，此时数据的存储与使用遵循该服务的账号设置与隐私政策。这一差异需要贯穿请求全链路：

def build_payload(user, task):
    payload = {"task": task, "store": False, "use_for_training": False}
    if user.authenticated:
        payload["account"] = user.account_id
        payload["store"] = user.settings.get("save_history", True)
        payload["use_for_training"] = user.settings.get("training_opt_in", False)
    return payload

在此基础上，还应遵循三条通用原则：数据最小化（仅上传完成任务所需的最小上下文）、端侧脱敏（姓名、位置等敏感字段先脱敏再上传）、明示同意与可追溯（涉及个人信息的处理需清晰告知并留痕，满足个人信息保护相关法规的通用要求）。

五、给开发者与企业的落地建议

1. 降级与兜底：设计云端不可用时的端侧小模型或规则引擎兜底方案，保证基础体验始终可用；
2. 流式优先：终端交互对首字延迟极其敏感，采用流式输出让用户“边生成边阅读”，并缓存高频结果、压缩路由决策耗时；
3. 可观测性：对请求量、成功率、延迟分位值、内容拦截率建立监控告警，接入日志服务支撑故障定位与容量规划；
4. 评测与灰度：围绕写作质量、问答准确率、视觉识别正确率建立人工与自动结合的评测集，先小流量灰度验证，再逐步放量；
5. 基础设施复用：企业自建同类能力时，可评估云厂商提供的通用产品类目，例如百度智能云上的大模型服务、向量数据库、对象存储、日志服务与内容安全审核等，按需组合，把资源聚焦在业务差异化而非重复造轮子。

六、结语

大模型接入智能终端，表面上是“写文案、读文档、识图像”三个功能点，底层则是一套端云协同的完整工程体系：入口标准化、路由智能化、能力多模态化、隐私分级化。谁能把这四件事做扎实，谁就能把“智能体验”从发布会演示变成用户日常。对开发者而言，理解并复用这套范式，无论构建终端侧应用还是企业级智能服务，都能显著少走弯路。