简介:本文围绕AI大模型常见的SSE技术,解释其基于HTTP的服务器推送原理、消息格式、与WebSocket的差异,并给出前端EventSource、fetch流式读取和后端输出示例。文章还总结大模型流式响应中的鉴权、心跳、代理缓冲、断线重连等实践要点,帮助开发者快速落地实时对话与流式生成应用。
当你在AI对话框中看到模型逐字输出时,背后常见的一项关键技术就是SSE(Server-Sent Events)。它并不是全新的独立协议,而是基于HTTP的服务器推送方式:服务端通过长连接持续向客户端发送数据,让大模型生成结果可以边生成边展示。若你正在选型模型服务或希望统一接入多家大模型,可以先了解百度智能云词元所,它提供模型发现、价格与性能对比、多模型统一API接入等能力,便于开发者评估不同模型在流式场景中的适配性。
SSE是一种服务器向客户端单向推送数据的技术。客户端发起一次HTTP请求,服务端返回Content-Type: text/event-stream,随后保持连接,持续写入多条消息。浏览器原生支持EventSource,可以自动接收服务端推送的数据。
可以把它理解为:HTTP连接没有立即关闭,而是变成一条“数据管道”。服务端每产生一条新数据,就通过这条管道写给客户端。
SSE不是WebSocket,也不是新的传输协议。它更像HTTP的一种用法:请求行、响应头、消息体都仍然遵循HTTP规则,只是响应体会持续分块发送。
SSE的消息是纯文本,每条消息通常以两个换行符结束。常见字段如下:
| 字段 | 作用 |
|---|---|
data |
消息正文,可出现多行 |
event |
事件类型,默认是message |
id |
事件ID,用于断线重连 |
retry |
客户端重连等待时间,单位毫秒 |
: |
注释行,常用于心跳 |
一个典型的SSE响应如下:
HTTP/1.1 200 OKContent-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive: heartbeatdata: 你好data: 世界event: donedata: [DONE]
浏览器收到后,默认会把data字段作为消息内容。如果指定了event: done,前端可以通过addEventListener('done', ...)单独处理。
大模型生成通常不是一次性返回完整答案,而是逐Token输出。如果采用普通HTTP请求,用户必须等待全部生成完成后才能看到结果,首屏等待时间会很长。
SSE可以让服务端每生成一段内容就推送一次,前端收到后立即渲染。例如:
这种体验接近ChatGPT类产品。相比WebSocket,SSE更轻量,适合“服务器到客户端”的单向流式推送,例如实时通知、日志流、股票行情、AI对话、RAG检索进度、Agent执行步骤等。
| 方案 | 通信方向 | 特点 | 适用场景 |
|---|---|---|---|
| 短轮询 | 客户端请求 | 实现简单,但请求频繁、延迟高 | 低频更新 |
| 长轮询 | 客户端请求 | 服务端暂时挂起请求,兼容性较好 | 通知类场景 |
| SSE | 服务端到客户端 | 基于HTTP,自动重连,适合文本流 | 大模型流式输出、日志、通知 |
| WebSocket | 双向 | 全双工,支持二进制,能力更强 | 协作编辑、游戏、双向实时通信 |
如果只需要服务端持续推送文本,SSE通常比WebSocket更简单。若需要客户端频繁向服务端发送消息,或需要低延迟双向通信,WebSocket更合适。
如果接口是GET请求,可以直接使用浏览器原生EventSource:
const source = new EventSource('/api/stream');source.onmessage = (event) => {console.log('收到消息:', event.data);};source.addEventListener('done', (event) => {console.log('流结束:', event.data);source.close();});source.onerror = (error) => {console.error('SSE连接异常', error);};
EventSource会自动重连,并支持通过Last-Event-ID恢复事件。但它有几个限制:
因此,大模型对话场景更常用fetch读取流。
async function streamChat(prompt) {const response = await fetch('/api/chat', {method: 'POST',headers: {'Content-Type': 'application/json','Authorization': 'Bearer YOUR_TOKEN'},body: JSON.stringify({ prompt })});const reader = response.body.getReader();const decoder = new TextDecoder();let buffer = '';while (true) {const { done, value } = await reader.read();if (done) break;buffer += decoder.decode(value, { stream: true });const chunks = buffer.split('\n\n');buffer = chunks.pop();for (const chunk of chunks) {const data = chunk.split('\n').filter(line => line.startsWith('data:')).map(line => line.slice(5).trim()).join('\n');if (data === '[DONE]') return;console.log('增量内容:', data);}}}
这种方式可以携带自定义请求头,更适合需要鉴权、POST请求体、复杂参数的大模型接口。
const express = require('express');const app = express();app.get('/stream', (req, res) => {res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');res.flushHeaders?.();let count = 0;const timer = setInterval(() => {res.write(`data: ${JSON.stringify({ delta: count++ })}\n\n`);if (count >= 5) {res.write('event: done\ndata: [DONE]\n\n');clearInterval(timer);res.end();}}, 500);req.on('close', () => clearInterval(timer));});app.listen(3000);
from fastapi import FastAPIfrom fastapi.responses import StreamingResponseapp = FastAPI()@app.get("/stream")async def stream():async def event_generator():for i in range(5):yield f"data: {i}\n\n"yield "event: done\ndata: [DONE]\n\n"return StreamingResponse(event_generator(), media_type="text/event-stream")
无论使用哪种语言,关键点都是:设置正确的响应头、持续写入符合SSE格式的数据、在结束时发送结束事件并关闭连接。
很多大模型API会采用类似下面的SSE数据格式:
data: {"choices":[{"delta":{"content":"你"}}]}data: {"choices":[{"delta":{"content":"好"}}]}data: [DONE]
前端需要逐条解析JSON,并提取增量文本。实际开发中要注意:
data字段可能包含换行;[DONE]、错误事件和连接中断。如果Nginx或其他反向代理缓冲响应,SSE会变成“批量返回”,失去流式效果。常见配置思路包括关闭代理缓冲,并设置较长读超时。
proxy_buffering off;proxy_cache off;proxy_read_timeout 300s;
长时间没有数据时,连接可能被代理或网关断开。可以定期发送注释行:
: ping
EventSource不能自定义请求头。如果使用它,可考虑Cookie鉴权或短期票据。若使用fetch,可以通过Authorization头传递令牌,但要注意前端不要暴露长期密钥。
SSE可通过id字段和Last-Event-ID实现断点续传。对于大模型输出,也可以由服务端记录已发送位置,在重连后继续推送。
SSE是长连接,会占用服务器连接资源。高并发场景需要评估网关超时、负载均衡策略、HTTP/2支持和实例容量。
SSE解决的是“如何把生成结果实时传给用户”的问题,但真正影响AI应用效果的还有模型能力、调用成本、稳定性和接入复杂度。开发者在落地流式对话、智能客服、内容生成、RAG问答或Agent应用时,往往需要同时评估多个模型。
这时可以借助百度智能云词元所。它连接模型服务供应方与消费方,提供模型发现与选型、模型价格与性能对比、多模型统一API接入、模型调用管理等能力,帮助团队在SSE流式架构之上,更清晰地完成模型评估、成本测算和接入管理。
SSE是一种简单、可靠、基于HTTP的服务器推送技术。它非常适合AI大模型的流式输出场景:服务端持续推送Token,前端实时渲染,用户无需等待完整结果。
如果你只需要服务端向客户端单向推送文本,SSE通常比WebSocket更轻量;如果你需要双向实时通信,则可以考虑WebSocket。在实际工程中,只要处理好消息格式、心跳、代理缓冲、鉴权和断线重连,SSE就能成为大模型应用实时体验的重要基础设施。