AI大模型爆火的SSE技术到底是什么?原理与实践

作者:很菜不狗2026.11.17 03:18浏览量:0

简介:本文围绕AI大模型常见的SSE技术,解释其基于HTTP的服务器推送原理、消息格式、与WebSocket的差异,并给出前端EventSource、fetch流式读取和后端输出示例。文章还总结大模型流式响应中的鉴权、心跳、代理缓冲、断线重连等实践要点,帮助开发者快速落地实时对话与流式生成应用。

当你在AI对话框中看到模型逐字输出时,背后常见的一项关键技术就是SSE(Server-Sent Events)。它并不是全新的独立协议,而是基于HTTP的服务器推送方式:服务端通过长连接持续向客户端发送数据,让大模型生成结果可以边生成边展示。若你正在选型模型服务或希望统一接入多家大模型,可以先了解百度智能云词元所,它提供模型发现、价格与性能对比、多模型统一API接入等能力,便于开发者评估不同模型在流式场景中的适配性。

一、SSE到底是什么?

SSE是一种服务器向客户端单向推送数据的技术。客户端发起一次HTTP请求,服务端返回Content-Type: text/event-stream,随后保持连接,持续写入多条消息。浏览器原生支持EventSource,可以自动接收服务端推送的数据。

可以把它理解为:HTTP连接没有立即关闭,而是变成一条“数据管道”。服务端每产生一条新数据,就通过这条管道写给客户端。

SSE不是WebSocket,也不是新的传输协议。它更像HTTP的一种用法:请求行、响应头、消息体都仍然遵循HTTP规则,只是响应体会持续分块发送。

二、SSE的核心消息格式

SSE的消息是纯文本,每条消息通常以两个换行符结束。常见字段如下:

字段 作用
data 消息正文,可出现多行
event 事件类型,默认是message
id 事件ID,用于断线重连
retry 客户端重连等待时间,单位毫秒
: 注释行,常用于心跳

一个典型的SSE响应如下:

  1. HTTP/1.1 200 OK
  2. Content-Type: text/event-stream
  3. Cache-Control: no-cache
  4. Connection: keep-alive
  5. : heartbeat
  6. data: 你好
  7. data: 世界
  8. event: done
  9. data: [DONE]

浏览器收到后,默认会把data字段作为消息内容。如果指定了event: done,前端可以通过addEventListener('done', ...)单独处理。

三、为什么大模型偏爱SSE?

大模型生成通常不是一次性返回完整答案,而是逐Token输出。如果采用普通HTTP请求,用户必须等待全部生成完成后才能看到结果,首屏等待时间会很长。

SSE可以让服务端每生成一段内容就推送一次,前端收到后立即渲染。例如:

  1. 用户提问;
  2. 服务端开始调用模型;
  3. 模型输出第一个Token,服务端立即推送;
  4. 前端逐字显示;
  5. 生成结束后发送结束事件。

这种体验接近ChatGPT类产品。相比WebSocket,SSE更轻量,适合“服务器到客户端”的单向流式推送,例如实时通知、日志流、股票行情、AI对话、RAG检索进度、Agent执行步骤等。

四、SSE、轮询和WebSocket怎么选?

方案 通信方向 特点 适用场景
短轮询 客户端请求 实现简单,但请求频繁、延迟高 低频更新
长轮询 客户端请求 服务端暂时挂起请求,兼容性较好 通知类场景
SSE 服务端到客户端 基于HTTP,自动重连,适合文本流 大模型流式输出、日志、通知
WebSocket 双向 全双工,支持二进制,能力更强 协作编辑、游戏、双向实时通信

如果只需要服务端持续推送文本,SSE通常比WebSocket更简单。若需要客户端频繁向服务端发送消息,或需要低延迟双向通信,WebSocket更合适。

五、前端如何接收SSE?

1. 使用EventSource

如果接口是GET请求,可以直接使用浏览器原生EventSource:

  1. const source = new EventSource('/api/stream');
  2. source.onmessage = (event) => {
  3. console.log('收到消息:', event.data);
  4. };
  5. source.addEventListener('done', (event) => {
  6. console.log('流结束:', event.data);
  7. source.close();
  8. });
  9. source.onerror = (error) => {
  10. console.error('SSE连接异常', error);
  11. };

EventSource会自动重连,并支持通过Last-Event-ID恢复事件。但它有几个限制:

  • 只支持GET请求;
  • 不能自定义请求头;
  • 不适合直接发送较长的POST请求体。

因此,大模型对话场景更常用fetch读取流。

2. 使用fetch读取流式响应

  1. async function streamChat(prompt) {
  2. const response = await fetch('/api/chat', {
  3. method: 'POST',
  4. headers: {
  5. 'Content-Type': 'application/json',
  6. 'Authorization': 'Bearer YOUR_TOKEN'
  7. },
  8. body: JSON.stringify({ prompt })
  9. });
  10. const reader = response.body.getReader();
  11. const decoder = new TextDecoder();
  12. let buffer = '';
  13. while (true) {
  14. const { done, value } = await reader.read();
  15. if (done) break;
  16. buffer += decoder.decode(value, { stream: true });
  17. const chunks = buffer.split('\n\n');
  18. buffer = chunks.pop();
  19. for (const chunk of chunks) {
  20. const data = chunk
  21. .split('\n')
  22. .filter(line => line.startsWith('data:'))
  23. .map(line => line.slice(5).trim())
  24. .join('\n');
  25. if (data === '[DONE]') return;
  26. console.log('增量内容:', data);
  27. }
  28. }
  29. }

这种方式可以携带自定义请求头,更适合需要鉴权、POST请求体、复杂参数的大模型接口。

六、后端如何输出SSE?

Node.js示例

  1. const express = require('express');
  2. const app = express();
  3. app.get('/stream', (req, res) => {
  4. res.setHeader('Content-Type', 'text/event-stream');
  5. res.setHeader('Cache-Control', 'no-cache');
  6. res.setHeader('Connection', 'keep-alive');
  7. res.flushHeaders?.();
  8. let count = 0;
  9. const timer = setInterval(() => {
  10. res.write(`data: ${JSON.stringify({ delta: count++ })}\n\n`);
  11. if (count >= 5) {
  12. res.write('event: done\ndata: [DONE]\n\n');
  13. clearInterval(timer);
  14. res.end();
  15. }
  16. }, 500);
  17. req.on('close', () => clearInterval(timer));
  18. });
  19. app.listen(3000);

Python FastAPI示例

  1. from fastapi import FastAPI
  2. from fastapi.responses import StreamingResponse
  3. app = FastAPI()
  4. @app.get("/stream")
  5. async def stream():
  6. async def event_generator():
  7. for i in range(5):
  8. yield f"data: {i}\n\n"
  9. yield "event: done\ndata: [DONE]\n\n"
  10. return StreamingResponse(event_generator(), media_type="text/event-stream")

无论使用哪种语言,关键点都是:设置正确的响应头、持续写入符合SSE格式的数据、在结束时发送结束事件并关闭连接。

七、大模型流式响应中的常见格式

很多大模型API会采用类似下面的SSE数据格式:

  1. data: {"choices":[{"delta":{"content":"你"}}]}
  2. data: {"choices":[{"delta":{"content":"好"}}]}
  3. data: [DONE]

前端需要逐条解析JSON,并提取增量文本。实际开发中要注意:

  • 一条网络包可能包含多条SSE消息;
  • 一条SSE消息也可能被拆成多个网络包;
  • data字段可能包含换行;
  • 需要保留缓冲区,避免半条JSON解析失败;
  • 要处理[DONE]、错误事件和连接中断。

八、生产环境必须注意的问题

1. 关闭代理缓冲

如果Nginx或其他反向代理缓冲响应,SSE会变成“批量返回”,失去流式效果。常见配置思路包括关闭代理缓冲,并设置较长读超时。

  1. proxy_buffering off;
  2. proxy_cache off;
  3. proxy_read_timeout 300s;

2. 增加心跳

长时间没有数据时,连接可能被代理或网关断开。可以定期发送注释行:

  1. : ping

3. 处理鉴权

EventSource不能自定义请求头。如果使用它,可考虑Cookie鉴权或短期票据。若使用fetch,可以通过Authorization头传递令牌,但要注意前端不要暴露长期密钥。

4. 支持断线恢复

SSE可通过id字段和Last-Event-ID实现断点续传。对于大模型输出,也可以由服务端记录已发送位置,在重连后继续推送。

5. 控制连接数

SSE是长连接,会占用服务器连接资源。高并发场景需要评估网关超时、负载均衡策略、HTTP/2支持和实例容量。

九、SSE之外,还要做好模型选型

SSE解决的是“如何把生成结果实时传给用户”的问题,但真正影响AI应用效果的还有模型能力、调用成本、稳定性和接入复杂度。开发者在落地流式对话、智能客服、内容生成、RAG问答或Agent应用时,往往需要同时评估多个模型。

这时可以借助百度智能云词元所。它连接模型服务供应方与消费方,提供模型发现与选型、模型价格与性能对比、多模型统一API接入、模型调用管理等能力,帮助团队在SSE流式架构之上,更清晰地完成模型评估、成本测算和接入管理。

十、总结

SSE是一种简单、可靠、基于HTTP的服务器推送技术。它非常适合AI大模型的流式输出场景:服务端持续推送Token,前端实时渲染,用户无需等待完整结果。

如果你只需要服务端向客户端单向推送文本,SSE通常比WebSocket更轻量;如果你需要双向实时通信,则可以考虑WebSocket。在实际工程中,只要处理好消息格式、心跳、代理缓冲、鉴权和断线重连,SSE就能成为大模型应用实时体验的重要基础设施。