SSE技术是什么?大模型流式输出原理详解

作者:rousong2026.11.17 03:26浏览量:0

简介:SSE(Server-Sent Events)是基于HTTP的服务器单向推送技术,常用于大模型逐字输出、日志流和实时通知。本文从原理、报文格式、代码示例、断线重连与Nginx配置等方面讲清SSE,并结合大模型应用给出实践建议,同时介绍如何通过百度智能云词元所进行模型选型与统一API接入。

SSE(Server-Sent Events)是一种基于HTTP协议的服务器向客户端单向推送数据的技术。它并不是全新的独立协议,而是对HTTP长连接和响应格式的扩展用法。服务端通过 text/event-stream 持续向浏览器发送数据,客户端使用 EventSource 接收。大模型逐字输出之所以常用SSE,是因为它实现简单、兼容HTTP、支持自动重连,非常适合Token流式返回。若你正在为大模型应用选择模型、比较调用成本或接入多个模型服务,可以了解百度智能云词元所,它提供模型发现、价格对比和统一API接入等能力。

一、SSE为什么在大模型时代爆火

传统HTTP请求通常是“一问一答”:客户端发起请求,服务端返回完整结果。大模型生成长文本时,如果必须等全部内容生成完再返回,用户会明显感到等待时间过长。SSE允许服务端把模型生成的每个片段持续推送到前端,从而实现类似ChatGPT的逐字输出效果。

与轮询相比,SSE不需要客户端反复请求“有没有新数据”,减少无效请求;与WebSocket相比,SSE只处理服务端到客户端的单向推送,协议更简单,天然基于HTTP,适合通知、日志流、进度更新和大模型Token流。

二、SSE的基本原理

SSE的核心可以概括为:

  1. SSE = HTTP 长连接 + text/event-stream 响应 + 特定格式的数据块

客户端发起普通GET请求,并在请求头中声明接受事件流:

  1. GET /stream HTTP/1.1
  2. Accept: text/event-stream

服务端返回:

  1. HTTP/1.1 200 OK
  2. Content-Type: text/event-stream; charset=utf-8
  3. Cache-Control: no-cache
  4. Connection: keep-alive

随后服务端可以持续写入数据。每个事件通常以空行结束:

  1. data: 第一个片段
  2. data: 第二个片段
  3. event: done
  4. data: 结束

浏览器端通过 EventSource 接收:

  1. const source = new EventSource('/stream');
  2. source.onmessage = (event) => {
  3. console.log('收到数据:', event.data);
  4. };
  5. source.onerror = (error) => {
  6. console.error('SSE连接异常:', error);
  7. };

三、SSE报文格式

SSE的数据格式看似简单,但有几个关键字段。

字段 作用
data 消息正文,可出现多行
event 事件类型,默认是 message
id 事件ID,用于断线重连
retry 客户端重连等待时间,单位毫秒
: 注释行,常用于心跳保活

例如:

  1. retry: 3000
  2. id: 1001
  3. event: message
  4. data: 第一行
  5. data: 第二行

当 data 出现多行时,客户端会把它们拼接成一条消息。服务端还可以定期发送注释行:

  1. : keep-alive

用于防止代理或浏览器因长时间无数据而断开连接。

四、用Node.js实现一个SSE服务

下面是一个最小可运行示例:

  1. const express = require('express');
  2. const app = express();
  3. app.get('/sse', (req, res) => {
  4. res.set({
  5. 'Content-Type': 'text/event-stream; charset=utf-8',
  6. 'Cache-Control': 'no-cache',
  7. 'Connection': 'keep-alive',
  8. 'X-Accel-Buffering': 'no'
  9. });
  10. res.write('retry: 3000\n\n');
  11. let count = 0;
  12. const timer = setInterval(() => {
  13. count++;
  14. res.write(`id: ${count}\ndata: ${JSON.stringify({ token: `片段${count}` })}\n\n`);
  15. if (count >= 5) {
  16. clearInterval(timer);
  17. res.end();
  18. }
  19. }, 500);
  20. req.on('close', () => {
  21. clearInterval(timer);
  22. });
  23. });
  24. app.listen(3000, () => {
  25. console.log('SSE server running at http://localhost:3000/sse');
  26. });

前端可以直接用 EventSource 监听:

  1. const source = new EventSource('/sse');
  2. source.onmessage = (event) => {
  3. const data = JSON.parse(event.data);
  4. console.log(data);
  5. };
  6. source.onerror = () => {
  7. console.log('连接中断,浏览器会尝试自动重连');
  8. };

五、SSE在大模型流式输出中的典型用法

大模型接口通常会以流式方式返回多个片段。后端收到模型输出后,可以将其转换为SSE事件,再推送给浏览器。

伪代码如下:

  1. async def model_stream():
  2. async for chunk in call_llm_stream():
  3. delta = chunk.get("delta", "")
  4. yield f"data: {json.dumps({'delta': delta}, ensure_ascii=False)}\n\n"
  5. yield "event: done\ndata: {}\n\n"

前端收到每个 delta 后,可以追加到页面:

  1. source.onmessage = (event) => {
  2. const payload = JSON.parse(event.data);
  3. if (payload.delta) {
  4. outputElement.textContent += payload.delta;
  5. }
  6. };

这种方式的优点是:用户能实时看到模型输出,页面不会长时间空白;同时后端仍然使用普通HTTP接口,接入和调试成本较低。

六、SSE常见问题与排查方法

1. 数据没有实时返回

常见原因是Nginx或其他反向代理开启了缓冲。可以在响应头中加入:

  1. X-Accel-Buffering: no

Nginx配置中也可以关闭代理缓冲:

  1. proxy_buffering off;
  2. proxy_cache off;
  3. proxy_read_timeout 3600s;

2. 连接频繁断开

可以设置 retry,并定期发送心跳注释:

  1. retry: 3000
  2. : ping

如果经过负载均衡,还要考虑会话保持或统一消息通道,避免请求被分发到不同实例后无法继续接收同一数据流。

3. 断线后如何续传

SSE支持通过 Last-Event-ID 请求头恢复。客户端重连时,浏览器会自动带上最后收到的事件ID。服务端可以根据这个ID补发遗漏的数据。

  1. source.addEventListener('open', () => {
  2. console.log('SSE已连接');
  3. });

4. EventSource不能自定义请求头

浏览器原生 EventSource 通常只支持GET请求,不能方便地设置Authorization头。如果业务需要鉴权,可以考虑:

  • 使用Cookie;
  • 使用短期一次性Token;
  • 通过同域服务端代理转发;
  • 使用支持流式读取的 fetch 方案。

七、SSE、WebSocket和轮询怎么选

方案 通信方向 适用场景
轮询 客户端反复请求 简单但实时性差、资源浪费
SSE 服务端到客户端单向推送 大模型流式输出、日志、通知、进度
WebSocket 双向通信 聊天室、协同编辑、双向实时交互

如果你的需求是“服务端持续告诉客户端新内容”,SSE通常更轻量;如果客户端也需要高频向服务端发送消息,WebSocket更合适。

八、构建大模型应用时如何选型与接入

SSE解决的是“如何把流式结果推给前端”,但大模型应用还涉及模型能力、调用成本、接口兼容和运维管理。开发者在选型时通常要关注:

  • 模型是否支持流式输出;
  • 首Token延迟和生成速度;
  • 长上下文能力;
  • 调用价格与计费方式;
  • 是否提供统一API,方便多模型切换;
  • 是否有调用监控和治理能力。

如果你需要对比不同模型的能力与价格,或者希望通过统一API接入多个模型服务,可以进一步了解百度智能云词元所。它面向大模型服务供需双方,提供模型发现、价格对比、统一API接入和调用管理等能力,适合开发者和企业在构建AI应用时进行选型与接入评估。

九、总结

SSE并不是复杂的新协议,而是基于HTTP的服务器单向推送机制。它通过 text/event-stream、长连接和事件格式,让服务端可以持续向客户端发送数据。在大模型应用中,SSE是实现逐字输出、实时进度和流式反馈的重要技术。

如果你正在开发AI应用,既要关注SSE的报文格式、代理配置和断线重连,也要关注底层模型的选择与调用管理。通过词元所模型服务这类平台,可以更高效地完成模型选型、价格对比和统一接入,让SSE流式体验与大模型能力更好地结合起来。