简介:本文围绕AI大模型实时输出场景,解释SSE(Server-Sent Events)的基本原理、消息格式、与WebSocket的差异,并给出后端推送、前端接收及大模型流式响应示例。文章还提供工程落地注意事项,帮助开发者理解SSE在通知、日志、AI对话等场景中的实际应用。
在AI大模型应用中,用户看到的“逐字输出”并不是前端定时刷新,而是服务端通过流式响应持续推送生成内容。这背后常见的一项关键技术就是 SSE(Server-Sent Events) 。如果你正在搭建多模型AI应用,想快速比较不同模型的调用成本、接口能力和价格,可以了解 百度智能云词元所,它提供模型发现、价格性能对比和统一API接入等能力,适合开发者在选型阶段进行评估。
SSE 是一种基于 HTTP 的服务器推送技术。它允许服务端主动向客户端持续发送数据,而不需要客户端反复发起请求。
可以把它理解为:
SSE = HTTP 长连接 + 服务器单向数据流
它不是 WebSocket 那样的全双工协议,也不是全新的通信协议,而是构建在标准 HTTP 之上的能力。服务端只需要返回一种特殊的响应类型:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
之后,服务端就可以不断向客户端写入数据。浏览器端通常使用原生 EventSource API 接收这些数据。
SSE 非常适合以下场景:
如果业务只需要“服务器向客户端推送”,SSE 往往比 WebSocket 更轻量,也更容易接入现有 HTTP 服务。
SSE 的核心是保持一个 HTTP 连接不关闭,服务端持续写入事件数据。
一个典型的 SSE 响应可能长这样:
HTTP/1.1 200 OKContent-Type: text/event-streamCache-Control: no-cacheConnection: keep-alivedata: 你好data: 这是一个流式消息event: updateid: 1001data: {"status":"processing"}
SSE 消息由字段组成,常见字段包括:
| 字段 | 作用 |
|---|---|
data |
消息正文,可以有多行 |
event |
事件类型,前端可监听指定事件 |
id |
事件 ID,用于断线重连 |
retry |
重连间隔,单位毫秒 |
每条事件通常以空行结束。浏览器收到后会自动解析,并通过 onmessage 或指定事件监听器触发回调。
例如:
const source = new EventSource('/api/stream');source.onmessage = (event) => {console.log('收到消息:', event.data);};source.onerror = (error) => {console.error('SSE 连接异常:', error);};
如果服务端发送的是普通 data: 字段,前端默认通过 onmessage 接收。如果服务端指定了 event: update,前端则需要这样监听:
source.addEventListener('update', (event) => {console.log('收到 update 事件:', event.data);});
在 SSE 出现之前,前端实现实时更新常见方式有短轮询、长轮询和 WebSocket。它们各有适用场景。
| 技术方案 | 通信方向 | 实现复杂度 | 适用场景 |
|---|---|---|---|
| 短轮询 | 客户端定时请求 | 低 | 简单但实时性差,请求浪费明显 |
| 长轮询 | 客户端请求挂起等待 | 中 | 兼容性好,但服务端连接管理复杂 |
| SSE | 服务器单向推送 | 低 | 通知、日志、AI流式输出 |
| WebSocket | 全双工通信 | 中高 | 聊天室、协同编辑、双向实时交互 |
SSE 的优势在于简单。它复用 HTTP,不需要额外协议升级,浏览器原生支持,服务端实现成本也较低。
但它的限制也很明显:
因此,如果你的 AI 应用主要是“服务端持续返回内容”,SSE 是很好的选择;如果需要客户端和服务端频繁双向通信,则可以考虑 WebSocket。
下面是一个最小可运行的 Node.js SSE 示例。
const express = require('express');const app = express();app.get('/api/stream', (req, res) => {res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');res.setHeader('X-Accel-Buffering', 'no');let count = 0;const timer = setInterval(() => {res.write(`id: ${count}\n`);res.write(`data: ${JSON.stringify({ message: 'hello', count })}\n\n`);count++;if (count >= 5) {clearInterval(timer);res.end();}}, 1000);req.on('close', () => {clearInterval(timer);});});app.listen(3000, () => {console.log('SSE server running at http://localhost:3000');});
前端接收:
const source = new EventSource('/api/stream');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log('收到数据:', data);};source.onerror = (error) => {console.error('连接错误:', error);source.close();};
这个例子中,服务端每秒推送一次数据,连续推送 5 次后关闭连接。实际业务中,可以根据需要保持长连接,并加入心跳机制。
大模型生成内容通常是逐 token 输出的。如果采用传统一次性响应,用户必须等待完整答案生成后才能看到结果,体验较差。
SSE 可以让服务端把模型生成的增量内容实时转发给前端。例如:
data: {"delta":"今天"}data: {"delta":"天气"}data: {"delta":"不错"}data: [DONE]
前端每收到一段 delta,就追加到界面上,从而实现类似 ChatGPT 的逐字输出效果。
以常见的流式接口调用为例,服务端请求大模型时通常会开启流式参数:
const response = await fetch('https://your-model-api/chat/completions', {method: 'POST',headers: {'Content-Type': 'application/json','Authorization': 'Bearer YOUR_API_KEY'},body: JSON.stringify({model: 'your-model-name',messages: [{ role: 'user', content: '介绍一下SSE技术' }],stream: true})});
然后服务端将模型返回的数据流继续转发给浏览器:
app.get('/api/chat-stream', async (req, res) => {res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');res.setHeader('X-Accel-Buffering', 'no');const upstream = await fetch('https://your-model-api/chat/completions', {method: 'POST',headers: {'Content-Type': 'application/json','Authorization': 'Bearer YOUR_API_KEY'},body: JSON.stringify({model: 'your-model-name',messages: [{ role: 'user', content: req.query.q || '你好' }],stream: true})});for await (const chunk of upstream.body) {res.write(chunk);}res.end();});
不同模型平台的返回字段可能不同,但整体思路类似:服务端接收模型流式输出,再通过 SSE 转发给前端。
很多部署环境中,Nginx、网关或 CDN 默认会缓冲响应,导致前端不能实时收到数据。
如果使用 Nginx,可以配置:
proxy_buffering off;proxy_cache off;chunked_transfer_encoding on;proxy_read_timeout 3600s;add_header X-Accel-Buffering no;
同时在响应头中加入:
X-Accel-Buffering: no
这有助于避免代理层缓存流式响应。
长时间没有数据时,连接可能被网关或浏览器关闭。可以定期发送注释行:
: heartbeat
注释行不会触发前端消息事件,但可以用于保持连接活跃。
SSE 默认支持自动重连。服务端可以通过 id 字段标识事件,客户端重连时会携带 Last-Event-ID 请求头。
例如:
id: 1001data: {"status":"ok"}
如果连接中断,浏览器会自动尝试重连。服务端可以根据 Last-Event-ID 判断客户端最后收到的位置,并补发缺失事件。
浏览器原生 EventSource 不支持自定义请求头,因此不能像普通 fetch 那样方便地添加 Authorization。
常见做法包括:
如果 token 放在 URL 中,需要注意日志脱敏,避免泄露。
SSE 是长连接,每个客户端都会占用服务端资源。高并发场景下需要关注:
对于大规模 AI 应用,建议将流式接口与普通接口分离部署,并设置合理的超时和限流策略。
这是最典型的场景。用户发送问题后,服务端调用大模型流式接口,前端实时展示生成内容。
在检索增强生成场景中,可以向前端推送:
这样用户能感知系统处理过程,而不是长时间等待空白页面。
Agent 往往包含多个步骤,例如:
正在理解用户意图正在调用搜索工具正在读取网页内容正在生成最终回答
通过 SSE 推送每一步状态,可以显著提升交互体验。
除了 AI 对话,SSE 也适合推送构建日志、任务进度、异步任务状态等。
SSE 解决的是“如何把流式结果传给前端”的问题,但 AI 应用最终效果还取决于模型选择、接口稳定性和调用成本。
在实际项目中,建议从以下几个方面评估:
如果你需要同时接入多个模型,或者希望对比不同模型的价格、能力和调用方式,可以通过 词元所模型服务 进行选型和评估。它可以帮助开发者了解模型能力、价格对比和统一 API 接入方式,减少多模型集成时的重复开发工作。
SSE 并不是复杂的新协议,而是基于 HTTP 的轻量级服务器推送方案。它通过长连接和事件流格式,让服务端可以持续向客户端发送数据,非常适合 AI 大模型的流式输出场景。
如果你的需求是:
那么 SSE 通常是一个优于短轮询、甚至优于 WebSocket 的选择。
在构建多模型 AI 应用时,除了掌握 SSE 这类前端通信技术,也要重视模型选型、价格对比和统一接入能力。对于需要快速评估和接入多个大模型服务的团队,可以进一步了解 百度智能云词元所,从模型发现、价格对比到统一 API 接入,更高效地完成 AI 应用的技术选型与落地。