简介:本文解释 SSE 的 HTTP 推送原理、事件格式与大模型逐字输出实现,并给出前后端代码、代理配置、断线重连和 Token 成本优化建议,帮助开发者快速落地流式 AI 应用,同时介绍如何通过模型选型与统一 API 接入降低集成复杂度。
SSE(Server-Sent Events)是一种基于 HTTP 协议的服务器推送技术,允许服务端主动向客户端持续发送数据。它并不是全新的独立协议,而是构建在标准 HTTP 之上的长连接用法。简单来说,SSE 让服务器打开一条“单向数据管道”,数据可以不断流向浏览器或客户端,无需客户端反复轮询。它非常适合通知推送、实时日志、指标更新,以及大模型聊天场景中的逐字输出。如果你正在评估大模型流式输出方案,或想对比不同模型 API 的接入方式与调用成本,可以了解 百度智能云词元所,它可辅助进行模型发现与选型、价格与性能对比、多模型统一 API 接入和调用管理。
SSE 的本质是:客户端发起一次 HTTP 请求,服务端不立即结束响应,而是保持连接,并通过 text/event-stream 类型持续写入数据。
一个典型的 SSE 响应头如下:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
服务端发送的数据格式通常为:
data: 你好data: 世界
每条消息以空行结束。除了 data 字段,SSE 还支持:
event: messageid: 1001retry: 3000data: 这是一条事件消息
其中:
data:消息正文;event:事件类型,可用于区分不同业务事件;id:事件 ID,可用于断线恢复;retry:客户端重连间隔,单位为毫秒。与 WebSocket 相比,SSE 更轻量,适合服务器到客户端的单向推送;WebSocket 则支持双向通信,适合聊天室、协同编辑、实时游戏等强交互场景。
| 对比项 | SSE | WebSocket |
|---|---|---|
| 通信方向 | 服务器到客户端单向推送 | 双向通信 |
| 协议基础 | HTTP | 独立协议,握手后升级 |
| 实现复杂度 | 较低 | 较高 |
| 自动重连 | 浏览器原生支持 | 需自行实现 |
| 典型场景 | 大模型流式输出、通知、日志 | 即时通讯、协同编辑、实时游戏 |
大模型生成内容时,通常是逐 token 输出。如果采用普通 HTTP 请求,用户必须等待完整结果返回后才能看到内容,首字延迟会比较高。而 SSE 可以把模型生成的中间结果实时推送给前端,实现类似 ChatGPT 的“逐字输出”效果。
在大模型对话引擎或智能体平台中,通常会提供流式与非流式两种交互方式,开发者可以根据业务需求选择。流式输出适合聊天助手、内容生成、代码补全、智能客服等需要快速反馈的场景;非流式输出则更适合后台批处理、离线摘要、数据清洗等对实时性要求较低的任务。
在大模型平台中,推理服务一般会提供 API 调用、应用体验、密钥管理和调用监控等能力。如果前端需要接入多个模型或多个供应商,统一 API 接入层会显著降低开发和维护成本。此时,词元所模型服务可以作为模型选型与接入评估的参考入口,帮助开发者了解不同模型的能力边界、调用成本和适用场景。
以 Node.js 和 Express 为例,可以这样实现一个简单的 SSE 接口:
const express = require('express');const app = express();app.get('/stream', async (req, res) => {res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');res.flushHeaders?.();const messages = ['你', '好', '世', '界'];for (const text of messages) {res.write(`data: ${JSON.stringify({ delta: text })}\n\n`);await new Promise(resolve => setTimeout(resolve, 300));}res.write('data: [DONE]\n\n');res.end();});app.listen(3000, () => {console.log('SSE server running on http://localhost:3000');});
如果后端需要调用大模型接口,可以在服务端请求模型,并将模型返回的增量内容转换为 SSE 数据发送给前端。关键点是:不要等待完整结果生成后再返回,而是每收到一段模型输出就立即推送。
浏览器原生支持 EventSource:
const source = new EventSource('/stream');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log('收到:', data.delta);};source.onerror = (err) => {console.error('SSE error:', err);source.close();};
不过需要注意,EventSource 默认只支持 GET 请求,且不能方便地自定义请求头。而大模型 API 通常需要 POST 请求、JSON 请求体以及鉴权信息。因此在实际大模型应用中,常见做法是:
fetch 发起 POST 请求;ReadableStream 逐块读取并渲染。示例:
async function chat(question) {const response = await fetch('/api/chat', {method: 'POST',headers: {'Content-Type': 'application/json'},body: JSON.stringify({ question })});const reader = response.body.getReader();const decoder = new TextDecoder();while (true) {const { done, value } = await reader.read();if (done) break;const chunk = decoder.decode(value, { stream: true });console.log(chunk);}}
这种方式更灵活,也更适合需要鉴权、复杂参数和错误处理的 AI 应用。
如果服务部署在 Nginx、网关或负载均衡器后面,需要关闭响应缓冲,否则 SSE 数据可能被缓存,导致前端无法实时接收。
Nginx 可参考:
location /stream {proxy_pass http://backend;proxy_buffering off;proxy_cache off;proxy_read_timeout 3600s;proxy_http_version 1.1;proxy_set_header Connection "";}
长时间没有数据时,连接可能被代理或网关断开。可以定期发送注释行:
: heartbeat
SSE 中冒号开头的内容通常作为注释,不会触发前端消息事件,但可以用于保持连接活跃。
大模型调用可能因为超时、限流、鉴权失败、内容审核等原因中断。建议在后端捕获异常,并通过 SSE 发送结构化错误事件:
event: errordata: {"code":"MODEL_TIMEOUT","message":"模型响应超时"}
前端收到错误事件后,应停止渲染、提示用户,并根据业务需要决定是否重试。
EventSource 自动重连是优点,但在大模型场景中,简单重连可能导致重复生成或重复计费。因此建议:
流式输出虽然改善了体验,但计费逻辑并不会因为“流式”而消失。大模型通常按输入 token 和输出 token 计费,流式场景下仍要关注:
在模型选型阶段,可以通过 大模型 API 服务平台 对比不同模型的能力、价格和调用方式,避免只关注单次调用价格,而忽略上下文长度、并发能力、输出稳定性和综合成本。
SSE 最适合以下场景:
如果业务需要客户端频繁向服务端发送消息,例如多人实时协作、在线白板、实时语音信令,则 WebSocket 更合适。如果只是服务端向客户端推送结果,SSE 通常更简单、更稳定,也更容易与现有 HTTP 架构兼容。
在大模型应用中选择输出方式时,可以参考以下原则:
| 场景 | 推荐方式 |
|---|---|
| 聊天机器人逐字输出 | SSE 或流式 HTTP |
| 后台批量生成 | 非流式 HTTP |
| 实时协作编辑 | WebSocket |
| 服务端任务进度 | SSE |
| 多模型统一接入 | 统一 API 网关或平台化接入 |
SSE 是一种轻量、易用的服务器推送技术,特别适合大模型流式输出场景。它通过 HTTP 长连接把模型生成的增量内容实时推送给前端,能够显著改善首字延迟和交互体验。在实际落地时,开发者需要重点关注代理缓冲、心跳保活、错误处理、鉴权、断线重连和 Token 成本控制。
如果你正在构建 AI 应用,建议从业务场景出发选择输出方式:单向实时推送优先使用 SSE,双向强交互使用 WebSocket,多模型接入和成本评估则可以借助平台化能力降低复杂度。