复刻类对话应用:架构拆解与Token成本控制

作者:新兰2026.11.17 03:30浏览量:0

简介:本文面向后端与全栈开发者,拆解类 DeepSeek 对话应用的五层架构,梳理联网、文件、语音与审核链路的工程要点,给出 Token 成本估算公式、故障降级思路和上线前检查清单。文中不确认任何接口是否已上线,接口细节请以官方最新文档为准。

先确认能力范围

开发前请逐项核对以下四件事,并以官方最新文档为准:

核对项 需要记录的内容
接口是否开放 接口名称、开放状态、是否仍在灰度
开放日期与模型版本 版本号、发布日期、计划弃用时间
调用限制与计费方式 每分钟请求数、并发数、上下文长度上限、计费单位
数据留存 请求与输出是否留存、留存时长、相关条款

本文不判断哪些接口已经上线,也不给出具体价格。

实现联网功能有两种方式,各有取舍:

维度 应用侧编排 模型侧自主联网
决定权 程序按规则决定何时检索 模型判断是否需要检索
可控性 高,检索词、来源和时机都可以固定 低,行为会随模型版本变化
调试成本 低,每一步都有日志 高,需要额外记录模型的决策过程
计费口径 搜索费用与模型费用分开统计 检索次数可能不透明,需要靠日志核对
降级设计 搜索失败时跳过检索并提示用户 需要超时熔断和关闭开关

多数团队建议先用应用侧编排。等成本数据和行为数据稳定后,再评估是否引入模型侧方案。

复刻应用的五层结构

一个能上线的类 DeepSeek 应用,通常可以拆成五层。每层都需要明确参数、权限边界、失败降级方式和日志字段。

1. 接入层

职责是流式渲染回答、上传附件、展示引用来源。前端通常通过 SSE 或 WebSocket 接收流式输出,需要处理断连后的重连。流中断时保留已输出的内容,并提示用户重新生成。日志至少包含会话 ID、请求时间、首字延迟和是否中断。

2. 网关层

职责是鉴权、限流、按用户计费和日志记录。API Key 只能保存在服务端的环境变量或密钥管理服务中。前端只携带自建网关签发的短期令牌,不直接访问模型。限流需要同时按用户和按会话设置,避免单个用户耗尽整体配额。触发限流时返回明确的错误码,不静默丢弃请求。日志记录用户 ID、会话 ID、路由结果、输入和输出 token 数、上游状态码与耗时,不记录明文密钥和完整附件内容。

3. 编排层

职责是识别用户意图,决定走普通对话、联网、文件解析、OCR 还是语音流程,并管理上下文与检索召回。意图路由可以先用规则判断,例如附件类型或联网开关是否开启,再用轻量分类模型补充。上下文按 token 预算裁剪,优先保留系统指令、最近几轮对话和检索结果,较早的历史内容改为摘要。检索结果为空时,不能编造来源。编排层需要记录路由分支、检索词、召回条数以及裁剪前后的 token 数。

4. 模型层

职责是承载对话模型、审核模型和向量模型。每类模型都要配置超时时间、最大重试次数和备用模型。主模型超时或返回错误时切换到备用模型,切换事件必须记录。审核模型与对话模型分开调用,审核结果单独存档。备用模型也失败时,向用户返回可理解的提示,不暴露原始错误堆栈。

5. 数据层

职责是保存会话历史、文件与音频(对象存储)以及向量数据。会话和文件按用户隔离存储,每次访问都要校验归属。向量写入时需要带上来源文档 ID 和版本号,文档更新时才能删除旧向量。向量库不可用时,编排层应跳过检索分支,直接进入普通对话。

联网、文件、语音与审核链路

联网链路

先定义检索的触发条件,例如用户主动开启联网开关,或应用规则判定问题需要最新信息。抓取网页时设置超时和大小上限,并过滤无法解析的页面。每条引用保存标题、URL、抓取时间和摘录片段,回答中标注来源。检索日志需要保留,使回答可以追溯。

文件链路

先校验格式和大小,再异步解析。格式白名单和大小上限由团队根据官方文档和自身成本设定,本文不给出具体数值。解析失败时返回明确原因,例如文件加密或无法读取。扫描件进入 OCR 流程,OCR 失败时提示用户上传可复制文本的版本。解析结果超出预算时先截断再放入上下文,并记录截断比例,方便后续排查回答遗漏的问题。

语音链路

分为上传音频转写和实时语音两种模式。转写需要同时设置总超时和单段超时,重试次数设为有限值,并采用指数退避。转写失败时降级为文字输入。音频文件在转写完成后按保留策略删除,不长期留存。

审核链路

输入审核在模型调用前执行,输出审核在流式输出过程中或输出完成后执行。审核误判会影响体验,因此拦截结果要允许用户申诉,申诉样本需要回流到规则调整中。审核模型的调用同样计入成本,估算时不能遗漏。

Token 成本估算

估算前先把成本拆成可以独立统计的变量,再逐项计算。

单次对话的基本公式如下:

单次成本 = (输入 token × 输入单价 + 输出 token × 输出单价) × 调用系数

调用系数包括以下几项:

  • 重试系数 R:平均每个请求实际发出的次数。超时重试会使它大于 1。
  • 缓存效果 H:缓存命中后有效输入量的变化,具体计费规则以官方文档为准。
  • 审核调用 A:输入审核和输出审核消耗的 token 数,需要单独计算。
  • 联网与检索:搜索接口费用,以及网页摘录进入上下文后增加的 token 数。
  • 文件与语音:OCR 页数、音频时长等,按各自的计费单位统计。

统计口径要统一。输入 token 包括系统指令、历史上下文、检索结果和用户问题。输出 token 只统计模型实际生成的内容。

估算步骤如下:

  1. 收集 100 到 300 条真实或模拟的对话样本,统计输入与输出 token 的分布,记录中位数和 P90。
  2. 按功能分组估算,普通对话、联网问答和文件问答分开计算。
  3. 用中位数做日常成本预测,用 P90 做容量预算。
  4. 每周与实际账单对账。偏差超过 15% 时,检查上下文裁剪规则和重试策略。

以一个假设的例子说明计算方式。假设某功能平均输入 2000 token,输出 600 token,重试系数 R 为 1.05,缓存使有效输入量下降 20%。代入公式后,有效输入为 2000 × 0.8 = 1600 token,单次成本为 (1600 × 输入单价 + 600 × 输出单价) × 1.05。这里的数值只用于演示计算步骤,实际取值应来自自己的样本统计。

控制成本的常用手段包括:压缩历史对话、限制单次检索的条数、控制网页摘录的长度、把长文件分段处理而不是整篇放入上下文。每项手段都应在成本看板中单独计量,以便验证效果。

上线前检查清单

  • 已核对所用接口的开放状态、模型版本和开放日期
  • 联网开关可以在不重新发版的情况下关闭
  • 文件格式与大小限制已配置,解析失败时有明确提示
  • 扫描件的 OCR 失败时有回退方案
  • 语音转写的超时与重试次数已设定,失败可降级为文字输入
  • 输入审核与输出审核均已接入,拦截结果可以申诉
  • API Key 只存在于服务端,代码仓库和前端包中没有密钥
  • 日志中的手机号、身份证号、邮箱等敏感字段已脱敏
  • 每个用户和每个会话都设有限流与配额
  • 主模型超时后可切换备用模型,切换事件有记录
  • 成本看板能按功能分组展示 token 用量与费用
  • 数据留存时长和删除流程已写入隐私说明

风险与合规提示

模型自主联网会让回答的来源难以追溯,因此必须保留检索日志和引用来源。用户上传的文件可能包含个人信息,存储与删除方式需要符合所在地区的法规。审核规则需要定期复查,避免误判和漏判同时出现。