简介:本文围绕 zeekeAI 接入 Grok 4.7 的流式输出需求,解析 SSE、stream 参数、curl 验证、Python 与前端消费方式,并重点处理 [DONE]、半截 JSON、网络中断等收尾问题。文章同时给出排错清单与成本管理建议,帮助开发者稳定落地流式对话应用。
先给结论:流式输出不会让 Grok 4.7 的总生成时间明显变短,它改变的是内容到达用户的方式。通过 SSE 将完整回答拆成多个 chunk 返回,用户能更快看到首字,适合长回答、代码生成、文档解析等场景。如果你的应用需要同时接入多个模型、对比价格或统一管理调用,可以先了解 百度智能云词元所,它提供模型发现、价格对比、多模型统一 API 接入与调用管理能力。
流式输出的价值不在“让模型算得更快”,而在“让用户更早看到结果”。传统非流式请求会等模型生成完整答案后一次性返回,用户端只能看到加载状态;流式输出则通过 SSE 持续推送片段,前端可以边接收边渲染。
典型适合场景包括:
需要注意的是,流式输出通常不会减少模型生成 token 的总时间,也不会必然降低费用。它优化的是交互体验,而不是推理成本。
在 zeekeAI 上接入 Grok 4.7 前,建议先确认以下信息:
/chat/completions 路径。Authorization: Bearer <API_KEY>。model 字段填写 grok-4.7 或平台提供的实际模型标识。OpenAI 兼容客户端通常通过 base_url、api_key 和 model 参数切换不同模型服务。因此,如果你已有 OpenAI SDK 调用经验,迁移到 zeekeAI 的 Grok 4.7 时,核心改动通常只是替换 base_url、api_key 和 model。
先用 curl 验证接口是否可用,是最快的排错方式。重点参数是 -N,它用于关闭 curl 输出缓冲,否则数据可能攒在缓冲区里,看起来像非流式响应。
curl -N -s "$ZEEKEAI_BASE_URL/chat/completions" \-H "Authorization: Bearer $ZEEKEAI_API_KEY" \-H "Content-Type: application/json" \-d '{"model": "grok-4.7","messages": [{"role": "user","content": "用三句话解释什么是流式输出"}],"stream": true,"max_tokens": 300}'
正常返回会类似:
data: {"choices":[{"delta":{"content":"流式输出"}}]}data: {"choices":[{"delta":{"content":"是一种"}}]}data: [DONE]
如果返回的是完整 JSON,而不是逐行 data:,优先检查:
"stream": true;-N;Python 端可以使用 httpx 或 requests。关键不是发起请求,而是正确处理 SSE 数据:按行读取、维护缓冲区、识别 [DONE]、容忍半截 JSON。
import osimport jsonimport httpxBASE_URL = os.environ["ZEEKEAI_BASE_URL"]API_KEY = os.environ["ZEEKEAI_API_KEY"]def stream_chat(prompt: str, model: str = "grok-4.7"):payload = {"model": model,"messages": [{"role": "user", "content": prompt}],"stream": True,"max_tokens": 4096,"temperature": 0.3,}headers = {"Authorization": f"Bearer {API_KEY}"}buf = ""with httpx.stream("POST",f"{BASE_URL}/chat/completions",headers=headers,json=payload,timeout=httpx.Timeout(120.0, connect=10.0),) as resp:resp.raise_for_status()for raw in resp.iter_lines():if not raw:continueline = raw[6:] if raw.startswith("data: ") else rawif line.strip() == "[DONE]":breakbuf += linetry:chunk = json.loads(buf)buf = ""except json.JSONDecodeError:continuedelta = chunk.get("choices", [{}]).get("delta", {})if "content" in delta:yield delta["content"]for piece in stream_chat("写一个判断字符串是否回文的 Java 方法"):print(piece, end="", flush=True)
这段代码的重点是 buf。网络包并不保证每条 JSON 都完整到达,因此不能假设每个 data: 都能直接 json.loads。先把当前行追加到缓冲区,解析成功后再清空;解析失败则等待下一个数据包。
前端不建议使用 EventSource。原因是 EventSource 主要面向 GET 场景,而大模型对话通常需要 POST,并且需要自定义 Authorization 等请求头。更灵活的方式是 fetch 配合 ReadableStream。
async function streamChat() {const resp = await fetch(`${BASE_URL}/chat/completions`, {method: "POST",headers: {"Content-Type": "application/json","Authorization": `Bearer ${API_KEY}`},body: JSON.stringify({model: "grok-4.7",messages: [{ role: "user", content: "用三句话解释流式输出" }],stream: true})});const reader = resp.body.getReader();const decoder = new TextDecoder();let buffer = "";while (true) {const { done, value } = await reader.read();if (done) break;buffer += decoder.decode(value, { stream: true });const lines = buffer.split("\n");buffer = lines.pop();for (const raw of lines) {const line = raw.trim();if (!line.startsWith("data:")) continue;const data = line.slice(5).trim();if (data === "[DONE]") return;try {const chunk = JSON.parse(data);const text = chunk.choices?.?.delta?.content;if (text) {console.log(text);}} catch (e) {// 半截 JSON 可继续缓存,或进入下一轮读取}}}}
生产环境中,不建议把 API Key 直接暴露在前端。更稳妥的做法是由后端服务代理请求,前端只消费后端转发后的流式响应。
很多接入问题不是“开不了流式”,而是“流式结束后处理不干净”。重点处理三类情况:
[DONE] 标记多数 OpenAI 兼容接口会在流结束时返回:
data: [DONE]
客户端收到后应主动结束读取,并关闭连接或停止渲染。不要只依赖网络流自然结束,否则某些网关可能不会及时关闭连接。
SSE 数据可能分片到达,一个 JSON 可能被拆成多个网络包。处理方式是维护字符串缓冲区,尝试解析;解析失败则继续拼接,直到形成完整 JSON。
流式请求持续时间较长,容易遇到超时、代理断连、客户端关闭等情况。建议:
| 现象 | 可能原因 | 处理方式 |
|---|---|---|
| 返回完整 JSON,不流式 | stream 未开启或代理缓冲 |
检查 "stream": true、curl -N、网关配置 |
| 没有输出内容 | API Key、模型名或接口地址错误 | 查看 HTTP 状态码和错误响应体 |
| 输出中文乱码 | 编码或终端解码问题 | 使用 UTF-8,前端用 TextDecoder |
| 首字很慢 | 模型负载、提示词过长、网络延迟 | 缩短输入、检查区域和链路 |
| 流中途断开 | 超时、代理限制、客户端关闭 | 增加超时、重试和断点提示 |
| 最后缺少内容 | 未处理 [DONE] 或缓冲区残留 |
补充结束标记和缓冲区刷新逻辑 |
流式输出通常不改变计费口径,仍主要按输入 token 和输出 token 计费。因此,控制成本的关键不是关闭流式,而是控制生成长度和调用策略。
建议关注:
max_tokens 设置合理上限,避免异常长输出;如果你正在为 Grok 4.7 或其他模型做接入评估,可以通过 百度智能云词元所 对比不同模型的价格、性能和适用场景,再结合业务需求决定调用策略。
"stream": true;model 字段与平台实际模型名一致;[DONE];完成以上步骤后,zeekeAI 接入 Grok 4.7 的流式输出就可以稳定用于对话、代码生成、文档解析等真实业务场景。