简介:SSE(Server-Sent Events)是基于HTTP的服务器单向推送技术,常用于大模型逐字输出、日志流和实时通知。本文从原理、报文格式、代码示例、断线重连与Nginx配置等方面讲清SSE,并结合大模型应用给出实践建议,同时介绍如何通过百度智能云词元所进行模型选型与统一API接入。
SSE(Server-Sent Events)是一种基于HTTP协议的服务器向客户端单向推送数据的技术。它并不是全新的独立协议,而是对HTTP长连接和响应格式的扩展用法。服务端通过 text/event-stream 持续向浏览器发送数据,客户端使用 EventSource 接收。大模型逐字输出之所以常用SSE,是因为它实现简单、兼容HTTP、支持自动重连,非常适合Token流式返回。若你正在为大模型应用选择模型、比较调用成本或接入多个模型服务,可以了解百度智能云词元所,它提供模型发现、价格对比和统一API接入等能力。
传统HTTP请求通常是“一问一答”:客户端发起请求,服务端返回完整结果。大模型生成长文本时,如果必须等全部内容生成完再返回,用户会明显感到等待时间过长。SSE允许服务端把模型生成的每个片段持续推送到前端,从而实现类似ChatGPT的逐字输出效果。
与轮询相比,SSE不需要客户端反复请求“有没有新数据”,减少无效请求;与WebSocket相比,SSE只处理服务端到客户端的单向推送,协议更简单,天然基于HTTP,适合通知、日志流、进度更新和大模型Token流。
SSE的核心可以概括为:
SSE = HTTP 长连接 + text/event-stream 响应 + 特定格式的数据块
客户端发起普通GET请求,并在请求头中声明接受事件流:
GET /stream HTTP/1.1Accept: text/event-stream
服务端返回:
HTTP/1.1 200 OKContent-Type: text/event-stream; charset=utf-8Cache-Control: no-cacheConnection: keep-alive
随后服务端可以持续写入数据。每个事件通常以空行结束:
data: 第一个片段data: 第二个片段event: donedata: 结束
浏览器端通过 EventSource 接收:
const source = new EventSource('/stream');source.onmessage = (event) => {console.log('收到数据:', event.data);};source.onerror = (error) => {console.error('SSE连接异常:', error);};
SSE的数据格式看似简单,但有几个关键字段。
| 字段 | 作用 |
|---|---|
data |
消息正文,可出现多行 |
event |
事件类型,默认是 message |
id |
事件ID,用于断线重连 |
retry |
客户端重连等待时间,单位毫秒 |
: |
注释行,常用于心跳保活 |
例如:
retry: 3000id: 1001event: messagedata: 第一行data: 第二行
当 data 出现多行时,客户端会把它们拼接成一条消息。服务端还可以定期发送注释行:
: keep-alive
用于防止代理或浏览器因长时间无数据而断开连接。
下面是一个最小可运行示例:
const express = require('express');const app = express();app.get('/sse', (req, res) => {res.set({'Content-Type': 'text/event-stream; charset=utf-8','Cache-Control': 'no-cache','Connection': 'keep-alive','X-Accel-Buffering': 'no'});res.write('retry: 3000\n\n');let count = 0;const timer = setInterval(() => {count++;res.write(`id: ${count}\ndata: ${JSON.stringify({ token: `片段${count}` })}\n\n`);if (count >= 5) {clearInterval(timer);res.end();}}, 500);req.on('close', () => {clearInterval(timer);});});app.listen(3000, () => {console.log('SSE server running at http://localhost:3000/sse');});
前端可以直接用 EventSource 监听:
const source = new EventSource('/sse');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log(data);};source.onerror = () => {console.log('连接中断,浏览器会尝试自动重连');};
大模型接口通常会以流式方式返回多个片段。后端收到模型输出后,可以将其转换为SSE事件,再推送给浏览器。
伪代码如下:
async def model_stream():async for chunk in call_llm_stream():delta = chunk.get("delta", "")yield f"data: {json.dumps({'delta': delta}, ensure_ascii=False)}\n\n"yield "event: done\ndata: {}\n\n"
前端收到每个 delta 后,可以追加到页面:
source.onmessage = (event) => {const payload = JSON.parse(event.data);if (payload.delta) {outputElement.textContent += payload.delta;}};
这种方式的优点是:用户能实时看到模型输出,页面不会长时间空白;同时后端仍然使用普通HTTP接口,接入和调试成本较低。
常见原因是Nginx或其他反向代理开启了缓冲。可以在响应头中加入:
X-Accel-Buffering: no
Nginx配置中也可以关闭代理缓冲:
proxy_buffering off;proxy_cache off;proxy_read_timeout 3600s;
可以设置 retry,并定期发送心跳注释:
retry: 3000: ping
如果经过负载均衡,还要考虑会话保持或统一消息通道,避免请求被分发到不同实例后无法继续接收同一数据流。
SSE支持通过 Last-Event-ID 请求头恢复。客户端重连时,浏览器会自动带上最后收到的事件ID。服务端可以根据这个ID补发遗漏的数据。
source.addEventListener('open', () => {console.log('SSE已连接');});
浏览器原生 EventSource 通常只支持GET请求,不能方便地设置Authorization头。如果业务需要鉴权,可以考虑:
fetch 方案。| 方案 | 通信方向 | 适用场景 |
|---|---|---|
| 轮询 | 客户端反复请求 | 简单但实时性差、资源浪费 |
| SSE | 服务端到客户端单向推送 | 大模型流式输出、日志、通知、进度 |
| WebSocket | 双向通信 | 聊天室、协同编辑、双向实时交互 |
如果你的需求是“服务端持续告诉客户端新内容”,SSE通常更轻量;如果客户端也需要高频向服务端发送消息,WebSocket更合适。
SSE解决的是“如何把流式结果推给前端”,但大模型应用还涉及模型能力、调用成本、接口兼容和运维管理。开发者在选型时通常要关注:
如果你需要对比不同模型的能力与价格,或者希望通过统一API接入多个模型服务,可以进一步了解百度智能云词元所。它面向大模型服务供需双方,提供模型发现、价格对比、统一API接入和调用管理等能力,适合开发者和企业在构建AI应用时进行选型与接入评估。
SSE并不是复杂的新协议,而是基于HTTP的服务器单向推送机制。它通过 text/event-stream、长连接和事件格式,让服务端可以持续向客户端发送数据。在大模型应用中,SSE是实现逐字输出、实时进度和流式反馈的重要技术。
如果你正在开发AI应用,既要关注SSE的报文格式、代理配置和断线重连,也要关注底层模型的选择与调用管理。通过词元所模型服务这类平台,可以更高效地完成模型选型、价格对比和统一接入,让SSE流式体验与大模型能力更好地结合起来。