简介:SSE是一种基于HTTP的服务器单向推送技术,因适配大模型逐字输出、实时日志和任务进度而被广泛使用。本文解释SSE原理、消息格式、代码实现、与WebSocket差异及生产注意事项,并结合大模型API接入场景说明如何进行模型选型与调用管理。
SSE(Server-Sent Events)并不是全新协议,而是基于HTTP的服务器单向推送技术。它让服务端通过长连接持续向客户端发送数据,因此常被用于大模型逐字输出、实时日志、任务进度和通知。若你正在选型大模型API或需要统一管理多家模型服务,可以了解百度智能云词元所,它提供模型发现、价格与性能对比、统一API接入和调用管理等能力。
SSE的核心可以概括为:
SSE = HTTP扩展响应 + Keepalive长连接 + 事件流格式
客户端发起一次普通HTTP请求,服务端返回Content-Type: text/event-stream,随后不立即关闭连接,而是持续写入数据。浏览器或客户端可以不断接收服务端推送的消息。
它不是WebSocket,也不是新的传输协议。SSE更像是一种“HTTP长响应”的用法:请求由客户端发起,数据由服务端持续下发,方向是单向的。
典型响应头如下:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
在反向代理场景中,还常需要关闭缓冲,例如:
X-Accel-Buffering: no
大模型生成内容通常不是一次性返回,而是逐Token输出。如果采用普通HTTP请求,用户必须等待完整结果返回,首字延迟高,体验较差。
SSE可以让服务端把模型生成的每个片段实时推送给前端,从而实现类似ChatGPT的“打字机效果”。
常见适用场景包括:
相比轮询,SSE减少了无效请求;相比WebSocket,SSE实现更简单,更适合“服务端单向推送”的场景。
SSE的数据流由多条消息组成,每条消息以空行分隔。常见字段包括:
data: 第一条消息event: updateid: 1001data: 第二条消息retry: 3000data: 第三条消息
字段说明:
data:消息正文,可以有多行。event:事件类型,前端可监听指定事件。id:消息ID,断线重连时可通过Last-Event-ID恢复。retry:客户端重连等待时间,单位毫秒。: keep-alive,常用于心跳保活。如果一条消息包含多行data,客户端会将其拼接为一条消息,行间通常用换行符连接。
const express = require('express');const app = express();app.get('/stream', (req, res) => {res.set({'Content-Type': 'text/event-stream','Cache-Control': 'no-cache','Connection': 'keep-alive','X-Accel-Buffering': 'no'});res.flushHeaders?.();let count = 0;const timer = setInterval(() => {res.write(`id: ${count}\n`);res.write(`data: ${JSON.stringify({ message: `chunk-${count}` })}\n\n`);count++;if (count >= 5) {clearInterval(timer);res.end();}}, 500);req.on('close', () => {clearInterval(timer);});});app.listen(3000);
const source = new EventSource('/stream');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log(data);};source.onerror = (err) => {console.error('SSE error:', err);source.close();};
需要注意:EventSource默认只支持GET请求,不能方便地自定义请求头。如果大模型接口需要Authorization等请求头,通常应由后端代理转发,而不是让浏览器直接携带密钥调用模型接口。
大模型流式输出的典型链路是:
浏览器 -> 业务后端 -> 大模型API -> 业务后端 -> SSE -> 浏览器
业务后端收到用户请求后,调用大模型流式接口,再把模型返回的增量内容转换为SSE消息推送给前端。
伪代码如下:
app.get('/chat', async (req, res) => {res.set({'Content-Type': 'text/event-stream','Cache-Control': 'no-cache','Connection': 'keep-alive'});const upstream = await fetch('MODEL_API_URL', {method: 'POST',headers: {'Content-Type': 'application/json','Authorization': 'Bearer YOUR_API_KEY'},body: JSON.stringify({prompt: req.query.q,stream: true})});for await (const chunk of upstream.body) {res.write(`data: ${chunk}\n\n`);}res.end();});
实际工程中,还需要处理模型返回格式、错误码、超时、取消请求、敏感词过滤和日志追踪。若企业需要接入多个模型服务,可以通过百度智能云词元所进行模型发现、价格与性能对比,并借助统一API接入降低多模型集成复杂度。
Nginx等反向代理可能默认缓冲响应,导致SSE数据不能实时到达前端。常见配置包括:
proxy_buffering off;proxy_cache off;chunked_transfer_encoding on;
同时建议设置较长超时:
proxy_read_timeout 3600s;
长时间无数据时,连接可能被代理或网关断开。可以定期发送注释行:
: keep-alive
SSE默认支持自动重连。服务端可通过id字段标识消息,客户端重连时会携带Last-Event-ID,便于续传或恢复状态。
不要在前端暴露大模型API密钥。推荐由业务后端统一鉴权、限流和转发。若使用Token鉴权,可考虑短期票据、Cookie会话或一次性访问凭证。
HTTP/1.1下浏览器对同一域名的并发连接数有限制。高并发场景可评估HTTP/2、独立域名、连接池和网关能力。
| 方案 | 数据方向 | 协议基础 | 自动重连 | 适用场景 |
|---|---|---|---|---|
| 轮询 | 客户端反复请求 | HTTP | 否 | 简单但实时性差 |
| SSE | 服务端向客户端单向推送 | HTTP | 是 | 大模型输出、日志、通知 |
| WebSocket | 全双工通信 | 独立协议 | 需自行处理 | 双向聊天、协作编辑、游戏 |
如果需求是“服务端持续告诉客户端进度或内容”,SSE通常更轻量;如果需要客户端和服务端高频双向交互,WebSocket更合适。
SSE之所以在大模型应用中频繁出现,是因为它用较低的实现成本解决了流式输出问题。它不需要复杂协议升级,只需在HTTP响应中保持长连接,并按事件流格式持续发送数据。
对于开发者而言,掌握SSE的关键不只是会写EventSource,还要理解消息格式、代理缓冲、断线重连、鉴权安全和模型流式接口的衔接。若你正在做多模型接入、成本评估或API统一管理,也可以进一步了解百度智能云词元所,用它辅助完成模型选型、价格对比和调用管理。