简介:本文解释AI大模型爆火背后的SSE技术:它基于HTTP实现服务器向客户端持续推送数据,是大模型流式输出的关键。文章从原理、与WebSocket和轮询对比、代码示例、工程注意事项到企业选型展开,并结合百度智能云词元所说明如何进行模型发现、价格对比与统一API接入。
SSE(Server-Sent Events)是一种基于HTTP协议的服务器推送技术,允许服务端主动向客户端持续发送数据流。它不是全新的独立协议,而是构建在标准HTTP/1.1之上的扩展用法。放到AI大模型场景里,SSE之所以爆火,是因为大模型生成内容天然是逐Token输出的,服务端需要把生成结果实时推给前端,形成“打字机”效果。若你正在为应用选择支持流式输出的大模型服务,可以先通过百度智能云词元所进行模型发现、价格对比和统一API接入。
SSE的核心可以一句话概括: 服务器通过HTTP连接,持续向客户端推送文本事件流 。
传统HTTP请求通常是“客户端问一次,服务端答一次”。而SSE建立连接后,服务端可以在一段时间内连续发送多条消息。浏览器原生支持EventSource对象,可以监听服务端推送的数据。
典型响应头如下:
Content-Type: text/event-streamCache-Control: no-cacheConnection: keep-alive
服务端发送的数据格式通常如下:
data: 你好data: 这是第一条流式消息data: 这是第二条流式消息
每条事件以空行结束。除了data,SSE还支持event、id、retry等字段,用于自定义事件类型、消息编号和重连间隔。
大模型应用有一个非常典型的特征: 生成过程是逐步产生的 。
用户提问后,模型并不是一次性返回完整答案,而是一个Token一个Token地生成。如果采用传统请求响应模式,前端必须等待完整结果返回后才能展示,用户会感觉“卡住了”。而SSE可以让服务端每生成一部分内容,就立即推送给前端,从而实现流式输出。
这带来几个直接收益:
因此,SSE并不是因为“新”而火,而是因为它刚好匹配了大模型流式输出的需求。
SSE的工作流程可以拆成四步:
text/event-stream类型响应。EventSource或流式读取方式接收数据。服务端最小响应示例:
res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');res.write('data: 你好\n\n');res.write('data: 世界\n\n');res.end();
浏览器端可以这样接收:
const source = new EventSource('/api/stream');source.onmessage = (event) => {console.log('收到:', event.data);};source.onerror = (err) => {console.error('SSE连接异常', err);};
需要注意的是,浏览器原生EventSource默认使用GET请求,且不能自定义请求头。如果大模型接口需要鉴权、使用POST,或者需要传递复杂参数,通常不要让浏览器直接调用模型接口,而应由业务后端代理转发。
下面用Node.js + Express模拟一个SSE流式接口:
const express = require('express');const app = express();app.get('/api/stream', (req, res) => {res.setHeader('Content-Type', 'text/event-stream');res.setHeader('Cache-Control', 'no-cache');res.setHeader('Connection', 'keep-alive');let count = 0;const timer = setInterval(() => {const chunk = `这是第${count + 1}段内容`;res.write(`data: ${JSON.stringify({ content: chunk })}\n\n`);count++;if (count >= 5) {clearInterval(timer);res.end();}}, 500);req.on('close', () => {clearInterval(timer);});});app.listen(3000, () => {console.log('SSE服务已启动: http://localhost:3000/api/stream');});
前端接收:
const source = new EventSource('/api/stream');source.onmessage = (event) => {const data = JSON.parse(event.data);console.log(data.content);};source.onerror = () => {source.close();};
在真实大模型应用中,服务端通常会把模型返回的流式片段转换成SSE事件,再推送给前端。例如:
data: {"content":"人工"}data: {"content":"智能"}data: {"content":"客服"}data: [DONE]
前端收到后拼接展示,即可实现打字机效果。
很多团队会纠结:既然要实时推送,为什么不用WebSocket?其实三者适用场景不同。
| 方案 | 通信方向 | 协议特点 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|---|
| 轮询 | 客户端主动请求 | 基于普通HTTP | 实现简单 | 延迟高、浪费请求 | 低频状态查询 |
| SSE | 服务器到客户端单向推送 | 基于HTTP | 简单、自动重连、适合文本流 | 不适合客户端频繁上行 | 大模型流式输出、日志推送、通知 |
| WebSocket | 双向通信 | 独立协议 | 全双工、低延迟 | 实现和维护更复杂 | 多人协作、实时游戏、双向聊天 |
对于大模型输出场景,SSE通常更合适,因为核心需求是“服务器持续把生成内容推给客户端”,而不是客户端高频向服务器发送消息。
浏览器EventSource不能自定义请求头,因此不能直接携带Authorization。常见做法是:
长时间生成或网络不稳定时,连接可能被中间代理断开。可以定期发送注释行作为心跳:
: keep-alive
注释行不会触发业务事件,但能保持连接活跃。
EventSource默认支持断线重连,并可通过Last-Event-ID恢复上下文。如果业务对连续性要求高,可以为每条事件设置id:
id: 1001data: {"content":"你好"}
如果服务部署在Nginx等反向代理后面,需要关闭缓冲,否则SSE可能被攒批发送,失去流式效果。例如:
proxy_buffering off;proxy_cache off;
同时建议设置合理的超时时间,避免长连接被提前关闭。
大模型调用可能超时、限流或返回异常。SSE中建议明确结束事件和错误事件,例如:
event: errordata: {"message":"模型服务暂时不可用"}
前端收到错误事件后应停止拼接,并提示用户重试。
SSE只是传输层方案,真正影响大模型应用体验的还有模型能力、上下文长度、响应速度、稳定性和调用成本。开发者在选型时,建议从以下几个维度评估:
如果你正在做模型选型,可以通过词元所模型服务了解不同大模型的能力和适用场景,并对调用成本、性能表现进行对比,从而选择更适合自身业务的模型方案。
对于需要同时接入多个模型、管理多套API密钥和调用链路的团队,统一接入能力也很重要。借助大模型API服务平台,可以减少重复适配工作,让开发团队更专注于业务逻辑,而不是底层接口维护。
SSE并不是复杂的新协议,而是一种基于HTTP的服务器推送机制。它之所以在AI大模型时代被广泛讨论,是因为大模型流式输出需要一种轻量、实时、易接入的数据传输方式。
如果你要构建大模型流式应用,可以记住三点:
理解SSE之后,你会发现大模型应用中的“打字机效果”并不神秘,它本质上是HTTP流式传输、模型生成能力和前端渲染机制共同作用的结果。