简介:本文面向后端与全栈开发者,拆解类 DeepSeek 对话应用的五层架构,梳理联网、文件、语音与审核链路的工程要点,给出 Token 成本估算公式、故障降级思路和上线前检查清单。文中不确认任何接口是否已上线,接口细节请以官方最新文档为准。
开发前请逐项核对以下四件事,并以官方最新文档为准:
| 核对项 | 需要记录的内容 |
|---|---|
| 接口是否开放 | 接口名称、开放状态、是否仍在灰度 |
| 开放日期与模型版本 | 版本号、发布日期、计划弃用时间 |
| 调用限制与计费方式 | 每分钟请求数、并发数、上下文长度上限、计费单位 |
| 数据留存 | 请求与输出是否留存、留存时长、相关条款 |
本文不判断哪些接口已经上线,也不给出具体价格。
实现联网功能有两种方式,各有取舍:
| 维度 | 应用侧编排 | 模型侧自主联网 |
|---|---|---|
| 决定权 | 程序按规则决定何时检索 | 模型判断是否需要检索 |
| 可控性 | 高,检索词、来源和时机都可以固定 | 低,行为会随模型版本变化 |
| 调试成本 | 低,每一步都有日志 | 高,需要额外记录模型的决策过程 |
| 计费口径 | 搜索费用与模型费用分开统计 | 检索次数可能不透明,需要靠日志核对 |
| 降级设计 | 搜索失败时跳过检索并提示用户 | 需要超时熔断和关闭开关 |
多数团队建议先用应用侧编排。等成本数据和行为数据稳定后,再评估是否引入模型侧方案。
一个能上线的类 DeepSeek 应用,通常可以拆成五层。每层都需要明确参数、权限边界、失败降级方式和日志字段。
1. 接入层
职责是流式渲染回答、上传附件、展示引用来源。前端通常通过 SSE 或 WebSocket 接收流式输出,需要处理断连后的重连。流中断时保留已输出的内容,并提示用户重新生成。日志至少包含会话 ID、请求时间、首字延迟和是否中断。
2. 网关层
职责是鉴权、限流、按用户计费和日志记录。API Key 只能保存在服务端的环境变量或密钥管理服务中。前端只携带自建网关签发的短期令牌,不直接访问模型。限流需要同时按用户和按会话设置,避免单个用户耗尽整体配额。触发限流时返回明确的错误码,不静默丢弃请求。日志记录用户 ID、会话 ID、路由结果、输入和输出 token 数、上游状态码与耗时,不记录明文密钥和完整附件内容。
3. 编排层
职责是识别用户意图,决定走普通对话、联网、文件解析、OCR 还是语音流程,并管理上下文与检索召回。意图路由可以先用规则判断,例如附件类型或联网开关是否开启,再用轻量分类模型补充。上下文按 token 预算裁剪,优先保留系统指令、最近几轮对话和检索结果,较早的历史内容改为摘要。检索结果为空时,不能编造来源。编排层需要记录路由分支、检索词、召回条数以及裁剪前后的 token 数。
4. 模型层
职责是承载对话模型、审核模型和向量模型。每类模型都要配置超时时间、最大重试次数和备用模型。主模型超时或返回错误时切换到备用模型,切换事件必须记录。审核模型与对话模型分开调用,审核结果单独存档。备用模型也失败时,向用户返回可理解的提示,不暴露原始错误堆栈。
5. 数据层
职责是保存会话历史、文件与音频(对象存储)以及向量数据。会话和文件按用户隔离存储,每次访问都要校验归属。向量写入时需要带上来源文档 ID 和版本号,文档更新时才能删除旧向量。向量库不可用时,编排层应跳过检索分支,直接进入普通对话。
联网链路
先定义检索的触发条件,例如用户主动开启联网开关,或应用规则判定问题需要最新信息。抓取网页时设置超时和大小上限,并过滤无法解析的页面。每条引用保存标题、URL、抓取时间和摘录片段,回答中标注来源。检索日志需要保留,使回答可以追溯。
文件链路
先校验格式和大小,再异步解析。格式白名单和大小上限由团队根据官方文档和自身成本设定,本文不给出具体数值。解析失败时返回明确原因,例如文件加密或无法读取。扫描件进入 OCR 流程,OCR 失败时提示用户上传可复制文本的版本。解析结果超出预算时先截断再放入上下文,并记录截断比例,方便后续排查回答遗漏的问题。
语音链路
分为上传音频转写和实时语音两种模式。转写需要同时设置总超时和单段超时,重试次数设为有限值,并采用指数退避。转写失败时降级为文字输入。音频文件在转写完成后按保留策略删除,不长期留存。
审核链路
输入审核在模型调用前执行,输出审核在流式输出过程中或输出完成后执行。审核误判会影响体验,因此拦截结果要允许用户申诉,申诉样本需要回流到规则调整中。审核模型的调用同样计入成本,估算时不能遗漏。
估算前先把成本拆成可以独立统计的变量,再逐项计算。
单次对话的基本公式如下:
单次成本 = (输入 token × 输入单价 + 输出 token × 输出单价) × 调用系数
调用系数包括以下几项:
统计口径要统一。输入 token 包括系统指令、历史上下文、检索结果和用户问题。输出 token 只统计模型实际生成的内容。
估算步骤如下:
以一个假设的例子说明计算方式。假设某功能平均输入 2000 token,输出 600 token,重试系数 R 为 1.05,缓存使有效输入量下降 20%。代入公式后,有效输入为 2000 × 0.8 = 1600 token,单次成本为 (1600 × 输入单价 + 600 × 输出单价) × 1.05。这里的数值只用于演示计算步骤,实际取值应来自自己的样本统计。
控制成本的常用手段包括:压缩历史对话、限制单次检索的条数、控制网页摘录的长度、把长文件分段处理而不是整篇放入上下文。每项手段都应在成本看板中单独计量,以便验证效果。
模型自主联网会让回答的来源难以追溯,因此必须保留检索日志和引用来源。用户上传的文件可能包含个人信息,存储与删除方式需要符合所在地区的法规。审核规则需要定期复查,避免误判和漏判同时出现。