简介:SSE是构建在HTTP之上的服务器推送技术,因大模型流式输出而广受关注。本文从原理、报文格式、与WebSocket差异、代码实现和工程注意事项等方面讲清SSE,并结合大模型API接入场景说明如何做模型选型与调用管理。
SSE(Server-Sent Events)不是新的独立协议,而是构建在HTTP/1.1之上的服务器推送技术。服务端通过长连接持续向客户端发送数据,常用于通知、日志流和大模型逐字输出。若你正在做AI应用,想快速完成模型选型、价格对比和统一API接入,可以了解百度智能云词元所,它连接模型服务供应方与消费方,帮助开发者降低多模型接入和选型成本。
传统Web交互通常是“客户端请求,服务端响应”。请求完成后,连接就结束。但大模型生成内容时,模型往往是一个Token一个Token地输出。如果服务端等所有内容生成完再返回,用户会看到长时间空白,体验较差,也容易触发网关或浏览器超时。
SSE的价值就在这里:服务端可以在模型生成过程中,把已经产生的文本片段持续推送给客户端。前端收到一段就渲染一段,从而实现类似“打字机”的流式输出效果。
这也是为什么很多大模型API、AI对话应用、智能客服、代码助手都会采用SSE。它实现简单、兼容HTTP、适合单向流式数据推送,尤其适合大模型逐字返回场景。
可以简单理解为:
SSE = HTTP 扩展字段 + Keepalive 长连接
客户端发起一个普通HTTP请求,服务端返回特定的响应头,并保持连接不关闭。之后服务端可以持续向客户端写入数据。
典型响应头如下:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
服务端发送的数据通常以data:开头,并以两个换行符表示一条事件结束:
data: 你好data: 世界
SSE还支持一些字段:
| 字段 | 作用 |
|---|---|
data |
消息正文 |
event |
事件类型 |
id |
事件ID,可用于断线恢复 |
retry |
客户端重连间隔 |
: comment |
注释,常用于心跳 |
例如:
event: messagedata: {"delta":"人工"}id: 1001data: {"delta":"智能"}: ping
其中: ping是注释行,不会触发消息事件,但可以用来保持连接活跃,防止代理或浏览器因空闲超时而断开。
const express = require('express');const app = express();app.get('/sse', (req, res) => {res.set({'Content-Type': 'text/event-stream','Cache-Control': 'no-cache','Connection': 'keep-alive'});res.flushHeaders?.();let i = 0;const timer = setInterval(() => {res.write(`data: ${JSON.stringify({ text: `chunk-${i}` })}\n\n`);i += 1;if (i >= 5) {clearInterval(timer);res.end();}}, 500);req.on('close', () => clearInterval(timer));});app.listen(3000);
浏览器原生支持EventSource:
const es = new EventSource('/sse');es.onmessage = (event) => {const data = JSON.parse(event.data);console.log(data.text);};es.onerror = () => {es.close();};
但需要注意:EventSource只支持GET请求,且不能自定义请求头。而大模型对话通常需要POST请求,并携带JSON Body或鉴权信息。因此在实际大模型应用中,很多前端会使用fetch读取流式响应。
const resp = await fetch('/api/chat', {method: 'POST',headers: {'Content-Type': 'application/json'},body: JSON.stringify({prompt: '用SSE解释流式输出'})});const reader = resp.body.getReader();const decoder = new TextDecoder();while (true) {const { done, value } = await reader.read();if (done) break;const chunk = decoder.decode(value, { stream: true });console.log(chunk);}
生产环境中,不建议手写复杂SSE解析逻辑。因为网络传输可能出现半包、粘包、多事件合并等情况,通常会使用成熟的SSE解析库或框架能力。
| 维度 | SSE | WebSocket | 轮询 |
|---|---|---|---|
| 通信方向 | 服务器到客户端 | 双向 | 客户端反复请求 |
| 协议基础 | HTTP | 独立协议 | HTTP |
| 数据格式 | 文本为主 | 文本/二进制 | 任意 |
| 自动重连 | 浏览器原生支持 | 需自行实现 | 不适用 |
| 实现复杂度 | 低 | 中 | 低 |
| 适用场景 | 大模型流式输出、通知、日志 | 双向实时交互 | 低频更新 |
如果业务只是“服务器持续告诉客户端新内容”,SSE通常更简单。例如大模型逐字输出、任务进度、日志推送、行情更新等。
如果业务需要客户端和服务端频繁双向通信,例如多人协作、在线游戏、实时白板,WebSocket更合适。
在一些智能体或客服平台中,第三方大模型对话引擎通常支持Prompt配置以及流式/非流式交互选择。当选择流式模式时,SSE就是常见的承载方式。
实际落地时,需要重点关注以下问题。
大模型生成可能持续较长时间。如果中间长时间没有数据,Nginx、负载均衡或浏览器可能断开连接。可以定时发送注释帧:
: ping
如果服务部署在Nginx后面,需要关闭代理缓冲,否则SSE数据可能被缓存,导致前端无法实时接收。
proxy_buffering off;proxy_cache off;proxy_read_timeout 3600s;
SSE连接断开后,浏览器EventSource默认会尝试重连。但大模型场景通常是一次性生成任务,不一定适合简单重连。更常见做法是返回明确错误事件:
event: errordata: {"message":"模型服务异常"}
前端收到错误事件后终止渲染,并提示用户重试。
EventSource不能自定义请求头,因此鉴权通常依赖Cookie或URL参数。若使用fetch读取流,则可以通过Header携带Token。
如果客户端处理速度较慢,服务端持续写入可能导致内存增长。生产环境需要关注连接状态、写入队列和超时控制。
大模型流式输出通常按Token计费。应用侧需要记录请求量、输入输出Token、调用模型和失败重试情况,便于成本核算与优化。
当你准备把SSE接入真实业务时,模型选型和成本控制同样重要。百度智能云千帆等平台提供企业级一站式大模型与AI原生应用开发及服务;若希望进一步做模型发现、价格与性能对比,可以了解词元所模型服务,通过统一API接入和调用管理降低多模型集成复杂度。
不能。SSE是服务器到客户端的单向推送,适合通知和流式输出。若需要客户端频繁向服务端发送消息,WebSocket更合适。
不是。SSE基于HTTP,服务端、移动端、命令行工具都可以消费。只是浏览器原生提供了EventSource。
在低频更新场景下,轮询实现更简单。SSE的优势在于实时性和连接复用,适合持续推送场景。
不建议。生产环境应使用成熟框架或SDK,处理编码、分帧、异常和重连等问题。
SSE是一种轻量、简单、基于HTTP的服务器推送技术。它并不是复杂的新协议,而是通过长连接和特定响应格式,让服务端能够持续向客户端发送数据。
在大模型应用中,SSE非常适合承载流式输出:模型生成一段,服务端推送一段,前端实时渲染一段。相比等待完整结果,这种方式能显著降低首字等待感,提升交互体验。
如果你正在开发AI应用,除了理解SSE协议本身,也要同步考虑模型选型、调用成本、接口统一和运行监控。通过合理的工程化设计,SSE可以成为大模型产品体验优化的重要基础设施。