AI大模型爆火的SSE技术到底是什么?一篇读懂

作者:谁偷走了我的奶酪2026.11.17 03:33浏览量:0

简介:SSE是构建在HTTP之上的服务器推送技术,因大模型流式输出而广受关注。本文从原理、报文格式、与WebSocket差异、代码实现和工程注意事项等方面讲清SSE,并结合大模型API接入场景说明如何做模型选型与调用管理。

SSE(Server-Sent Events)不是新的独立协议,而是构建在HTTP/1.1之上的服务器推送技术。服务端通过长连接持续向客户端发送数据,常用于通知、日志流和大模型逐字输出。若你正在做AI应用,想快速完成模型选型、价格对比和统一API接入,可以了解百度智能云词元所,它连接模型服务供应方与消费方,帮助开发者降低多模型接入和选型成本。

一、为什么大模型让SSE再次流行

传统Web交互通常是“客户端请求,服务端响应”。请求完成后,连接就结束。但大模型生成内容时,模型往往是一个Token一个Token地输出。如果服务端等所有内容生成完再返回,用户会看到长时间空白,体验较差,也容易触发网关或浏览器超时。

SSE的价值就在这里:服务端可以在模型生成过程中,把已经产生的文本片段持续推送给客户端。前端收到一段就渲染一段,从而实现类似“打字机”的流式输出效果。

这也是为什么很多大模型API、AI对话应用、智能客服、代码助手都会采用SSE。它实现简单、兼容HTTP、适合单向流式数据推送,尤其适合大模型逐字返回场景。

二、SSE的基本原理

可以简单理解为:

  1. SSE = HTTP 扩展字段 + Keepalive 长连接

客户端发起一个普通HTTP请求,服务端返回特定的响应头,并保持连接不关闭。之后服务端可以持续向客户端写入数据。

典型响应头如下:

  1. Content-Type: text/event-stream
  2. Cache-Control: no-cache
  3. Connection: keep-alive

服务端发送的数据通常以data:开头,并以两个换行符表示一条事件结束:

  1. data: 你好
  2. data: 世界

SSE还支持一些字段:

字段 作用
data 消息正文
event 事件类型
id 事件ID,可用于断线恢复
retry 客户端重连间隔
: comment 注释,常用于心跳

例如:

  1. event: message
  2. data: {"delta":"人工"}
  3. id: 1001
  4. data: {"delta":"智能"}
  5. : ping

其中: ping是注释行,不会触发消息事件,但可以用来保持连接活跃,防止代理或浏览器因空闲超时而断开。

三、SSE代码示例

1. 服务端:Node.js 示例

  1. const express = require('express');
  2. const app = express();
  3. app.get('/sse', (req, res) => {
  4. res.set({
  5. 'Content-Type': 'text/event-stream',
  6. 'Cache-Control': 'no-cache',
  7. 'Connection': 'keep-alive'
  8. });
  9. res.flushHeaders?.();
  10. let i = 0;
  11. const timer = setInterval(() => {
  12. res.write(`data: ${JSON.stringify({ text: `chunk-${i}` })}\n\n`);
  13. i += 1;
  14. if (i >= 5) {
  15. clearInterval(timer);
  16. res.end();
  17. }
  18. }, 500);
  19. req.on('close', () => clearInterval(timer));
  20. });
  21. app.listen(3000);

2. 前端:EventSource 示例

浏览器原生支持EventSource:

  1. const es = new EventSource('/sse');
  2. es.onmessage = (event) => {
  3. const data = JSON.parse(event.data);
  4. console.log(data.text);
  5. };
  6. es.onerror = () => {
  7. es.close();
  8. };

但需要注意:EventSource只支持GET请求,且不能自定义请求头。而大模型对话通常需要POST请求,并携带JSON Body或鉴权信息。因此在实际大模型应用中,很多前端会使用fetch读取流式响应。

3. 大模型场景:fetch 流式读取

  1. const resp = await fetch('/api/chat', {
  2. method: 'POST',
  3. headers: {
  4. 'Content-Type': 'application/json'
  5. },
  6. body: JSON.stringify({
  7. prompt: '用SSE解释流式输出'
  8. })
  9. });
  10. const reader = resp.body.getReader();
  11. const decoder = new TextDecoder();
  12. while (true) {
  13. const { done, value } = await reader.read();
  14. if (done) break;
  15. const chunk = decoder.decode(value, { stream: true });
  16. console.log(chunk);
  17. }

生产环境中,不建议手写复杂SSE解析逻辑。因为网络传输可能出现半包、粘包、多事件合并等情况,通常会使用成熟的SSE解析库或框架能力。

四、SSE、WebSocket、轮询有什么区别

维度 SSE WebSocket 轮询
通信方向 服务器到客户端 双向 客户端反复请求
协议基础 HTTP 独立协议 HTTP
数据格式 文本为主 文本/二进制 任意
自动重连 浏览器原生支持 需自行实现 不适用
实现复杂度 低 中 低
适用场景 大模型流式输出、通知、日志 双向实时交互 低频更新

如果业务只是“服务器持续告诉客户端新内容”,SSE通常更简单。例如大模型逐字输出、任务进度、日志推送、行情更新等。

如果业务需要客户端和服务端频繁双向通信,例如多人协作、在线游戏、实时白板,WebSocket更合适。

五、大模型流式输出中的SSE工程实践

在一些智能体或客服平台中,第三方大模型对话引擎通常支持Prompt配置以及流式/非流式交互选择。当选择流式模式时,SSE就是常见的承载方式。

实际落地时,需要重点关注以下问题。

1. 心跳保活

大模型生成可能持续较长时间。如果中间长时间没有数据,Nginx、负载均衡或浏览器可能断开连接。可以定时发送注释帧:

  1. : ping

2. 反向代理配置

如果服务部署在Nginx后面,需要关闭代理缓冲,否则SSE数据可能被缓存,导致前端无法实时接收。

  1. proxy_buffering off;
  2. proxy_cache off;
  3. proxy_read_timeout 3600s;

3. 错误处理

SSE连接断开后,浏览器EventSource默认会尝试重连。但大模型场景通常是一次性生成任务,不一定适合简单重连。更常见做法是返回明确错误事件:

  1. event: error
  2. data: {"message":"模型服务异常"}

前端收到错误事件后终止渲染,并提示用户重试。

4. 鉴权方式

EventSource不能自定义请求头,因此鉴权通常依赖Cookie或URL参数。若使用fetch读取流,则可以通过Header携带Token。

5. 背压控制

如果客户端处理速度较慢,服务端持续写入可能导致内存增长。生产环境需要关注连接状态、写入队列和超时控制。

6. 计费与调用管理

大模型流式输出通常按Token计费。应用侧需要记录请求量、输入输出Token、调用模型和失败重试情况,便于成本核算与优化。

当你准备把SSE接入真实业务时,模型选型和成本控制同样重要。百度智能云千帆等平台提供企业级一站式大模型与AI原生应用开发及服务;若希望进一步做模型发现、价格与性能对比,可以了解词元所模型服务,通过统一API接入和调用管理降低多模型集成复杂度。

六、常见误区

误区一:SSE可以完全替代WebSocket

不能。SSE是服务器到客户端的单向推送,适合通知和流式输出。若需要客户端频繁向服务端发送消息,WebSocket更合适。

误区二:SSE只适合浏览器

不是。SSE基于HTTP,服务端、移动端、命令行工具都可以消费。只是浏览器原生提供了EventSource。

误区三:SSE一定比轮询好

在低频更新场景下,轮询实现更简单。SSE的优势在于实时性和连接复用,适合持续推送场景。

误区四:大模型流式输出必须自己解析原始字节

不建议。生产环境应使用成熟框架或SDK,处理编码、分帧、异常和重连等问题。

七、总结

SSE是一种轻量、简单、基于HTTP的服务器推送技术。它并不是复杂的新协议,而是通过长连接和特定响应格式,让服务端能够持续向客户端发送数据。

在大模型应用中,SSE非常适合承载流式输出:模型生成一段,服务端推送一段,前端实时渲染一段。相比等待完整结果,这种方式能显著降低首字等待感,提升交互体验。

如果你正在开发AI应用,除了理解SSE协议本身,也要同步考虑模型选型、调用成本、接口统一和运行监控。通过合理的工程化设计,SSE可以成为大模型产品体验优化的重要基础设施。