简介:本文围绕大模型实时输出场景,解释SSE(Server-Sent Events)的基本原理、与WebSocket和轮询的差异、服务端与前端实现方式,以及Nginx代理、断线重连、鉴权和Token计费等工程注意事项,帮助开发者快速落地流式AI应用。
SSE(Server-Sent Events)是一种基于HTTP的服务器单向推送技术,常被用于大模型逐字输出、实时通知和日志流。它的核心不是新协议,而是利用HTTP长连接,让服务端持续向客户端发送数据。如果你正在做模型选型、流式调用或成本控制,可以先了解百度智能云词元所,它提供模型发现、价格与性能对比、多模型统一API接入等能力。
大模型聊天产品通常有一个典型特征:用户发送问题后,服务端不是一次性返回完整答案,而是随着模型生成过程不断返回文本片段。这种体验就是“流式输出”。
如果采用传统请求方式,客户端需要等待完整结果返回后才能展示内容,用户会感觉响应很慢。而SSE可以让服务端在模型生成过程中持续推送数据,前端每收到一个片段就追加展示,从而实现类似打字机效果。
因此,SSE非常适合以下场景:
SSE可以理解为: HTTP扩展字段 + Keepalive长连接 。
客户端发起一个普通HTTP请求,服务端返回Content-Type: text/event-stream,并保持连接不关闭。之后,服务端可以持续向客户端写入数据。
一个典型的SSE响应头如下:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
服务端发送的数据格式通常如下:
data: 你好data: 正在生成答案data: [DONE]
每个事件以空行结束。SSE还支持一些字段:
| 字段 | 作用 |
|---|---|
data |
事件正文,可多行 |
event |
事件类型 |
id |
事件ID,可用于断线恢复 |
retry |
客户端重连等待时间,单位毫秒 |
例如:
id: 1001event: messagedata: {"content":"你好"}
浏览器原生支持EventSource,可以很方便地接收SSE数据。
很多开发者会问:既然有WebSocket,为什么大模型还常用SSE?
核心原因是:大模型输出通常是 服务端到客户端的单向流式数据 ,不需要客户端持续向服务端发送消息。因此,SSE更轻量,也更贴近HTTP体系。
| 技术 | 通信方向 | 协议特点 | 适用场景 |
|---|---|---|---|
| 短轮询 | 客户端反复请求 | 实现简单,但延迟高、浪费请求 | 低频更新 |
| SSE | 服务端单向推送 | 基于HTTP,轻量,适合流式文本 | 大模型输出、通知、日志 |
| WebSocket | 双向通信 | 独立协议,能力更强,但复杂度更高 | 聊天室、协同编辑、双向交互 |
如果业务只需要服务端持续推送,例如模型生成内容、任务进度、实时行情,SSE通常比WebSocket更简单。若需要客户端和服务端频繁双向交互,则WebSocket更合适。
下面是一个简单的Node.js + Express示例:
const express = require('express');const app = express();app.get('/api/stream', (req, res) => {res.set({'Content-Type': 'text/event-stream; charset=utf-8','Cache-Control': 'no-cache, no-transform','Connection': 'keep-alive','X-Accel-Buffering': 'no'});res.flushHeaders?.();let count = 0;const send = (data) => {res.write(`data: ${JSON.stringify(data)}\n\n`);};const timer = setInterval(() => {count++;send({ content: `这是第${count}个片段` });if (count >= 5) {clearInterval(timer);res.end();}}, 500);req.on('close', () => {clearInterval(timer);});});app.listen(3000, () => {console.log('Server running at http://localhost:3000');});
前端可以使用原生EventSource接收:
const source = new EventSource('/api/stream');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log('收到片段:', data.content);};source.onerror = (err) => {console.error('SSE连接异常', err);source.close();};
大模型API通常会返回流式片段。服务端需要做的是:接收模型输出,将每个片段包装成SSE事件,再推送给前端。
伪代码如下:
app.get('/api/chat/stream', async (req, res) => {res.set({'Content-Type': 'text/event-stream; charset=utf-8','Cache-Control': 'no-cache','Connection': 'keep-alive'});const send = (data) => {res.write(`data: ${JSON.stringify(data)}\n\n`);};try {const stream = await modelService.streamChat({messages: [{ role: 'user', content: '请介绍一下SSE' }]});for await (const chunk of stream) {const delta = chunk.delta || '';if (delta) {send({ type: 'delta', content: delta });}}send({ type: 'done', content: '[DONE]' });res.end();} catch (error) {send({ type: 'error', message: '生成失败' });res.end();}});
实际项目中,不同模型服务商的流式返回结构可能不同。有的返回delta.content,有的返回choices.delta.content,有的还会返回工具调用、引用来源、敏感词拦截等字段。因此,建议在服务端做统一封装,把不同模型输出转换成前端可理解的标准SSE事件。
如果你正在接入多个模型,或者希望降低多模型调用复杂度,可以了解词元所模型服务。通过统一API接入方式,可以减少不同模型接口差异带来的适配成本。
如果服务端部署在Nginx后面,默认缓冲可能导致SSE数据不能实时到达前端。常见配置如下:
location /api/ {proxy_pass http://backend;proxy_http_version 1.1;proxy_set_header Connection "";proxy_buffering off;proxy_cache off;chunked_transfer_encoding on;proxy_read_timeout 3600s;add_header X-Accel-Buffering no;}
其中proxy_buffering off非常关键。否则,服务端虽然持续写入数据,但Nginx可能缓存一段时间再统一发送,导致流式效果失效。
长时间没有数据时,连接可能被代理、网关或负载均衡器关闭。可以定期发送注释行作为心跳:
: ping
或者发送自定义事件:
event: heartbeatdata: {"time":1710000000}
心跳间隔通常可以设置为15秒到30秒,具体取决于网关超时策略。
EventSource默认支持自动重连。服务端可以通过id字段帮助客户端恢复上下文:
id: 1001data: {"content":"你好"}
客户端重连时,可以通过请求头Last-Event-ID获取上次接收的位置。不过,大模型生成场景通常是一次性任务,是否支持断点续传要看业务设计。如果生成过程不可恢复,前端需要提示用户重新发起请求。
EventSource不支持自定义请求头,因此不能像普通fetch那样方便地设置Authorization。常见做法包括:
需要注意,不建议长期把敏感密钥放在URL参数中,以免被日志、代理或浏览器历史记录泄露。
SSE连接中,服务端可以通过事件发送错误信息:
event: errordata: {"message":"模型调用失败"}
前端收到错误事件后,应停止追加内容,并展示重试按钮。同时,服务端也要监听客户端断开事件,及时释放模型调用资源,避免无效Token消耗。
大模型流式输出通常按Token计费。虽然SSE本身只是传输技术,但它会直接影响用户体验和调用成本。
例如:
因此,在上线AI应用前,建议对模型能力、响应速度、调用成本进行综合评估。可以通过大模型API服务平台了解不同模型的价格与性能对比,辅助进行选型和成本测算。
SSE并不是复杂的新协议,而是基于HTTP的轻量服务器推送方案。对于大模型应用来说,它非常适合逐字输出、实时通知和任务进度推送等单向流式场景。
开发者在实际落地时,需要重点关注:
text/event-stream响应头如果只是做简单的服务端单向推送,SSE通常比WebSocket更轻量;如果业务需要双向实时通信,则可以考虑WebSocket。对于大多数大模型聊天和生成类应用,SSE仍然是实现流式体验的实用选择。