简介:游戏数据分析Agent的真正难点不在"生成SQL或Python",而在多轮追问下的链路成功率与企业级数据权限。本文复盘从 LangChain Chain、Dify Workflow 到自主 Agent 的三版架构演进,给出权限下沉、沙箱执行、模型分层选型的落地方法;做多模型接入与成本评估时,可借助[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)对比不同模型的能力与调用成本。
做游戏数据分析 Agent,最初我以为难点是”让模型写对 SQL”。真正做完三版之后才明白,难点有两个:
三版方案的演进,本质是把控制权从”开发者写死的流程”逐步交还给模型,同时把权限、指标口径、执行环境这些 确定性能力下沉为工具与基础设施 。
| 版本 | 架构形态 | 控制权 | 主要瓶颈 |
|---|---|---|---|
| v1.0 | LangChain Chain(线性编排) | 开发者预设 6 步 | 步骤间产物传递失真,成功率连乘衰减 |
| v2.0 | Dify Workflow(低代码编排) | 可视化节点 | 复杂业务逻辑定制困难,分支爆炸 |
| v3.0 | 自主 Agent(规划-执行-反思) | 模型自主规划 | 需要自建权限、沙箱与可观测性 |
第一版目标很收敛:只做 SDK 转化漏斗的自动异动分析 这一个场景。技术选型时参考了大模型的建议,用 LangChain 0.x 的链式编排,设计了 6 个步骤:
最新数据读取 → 直接分析(简报) → 分析方案制定→ 分析代码生成 → 代码执行 → 结合产物做深度分析(报告)
问题出在 链式结构的成功率是乘法关系 。假设每步 90% 可用,6 步串联的理论成功率只有 0.9^6 ≈ 53%;而实际中”产物传递与预期不符”会让单步成功率远低于 90%,整体几乎不可用。更致命的是 无法处理追问 :用户想改分析维度,只能从第 3 步重跑,前面耗费的 token 和时间全部作废;代码执行报错时也没有回退路径,Chain 没有”反思”这个环节。
当时以为是提示词问题,彻底重写了 3 次 PRD 仍未解决。复盘下来有两个真实教训:
第二版换成 Dify Workflow,好处是可视化、可快速验证、非工程同学也能改流程。但很快撞到墙:
低代码适合 流程稳定、分支有限 的场景;一旦业务逻辑本身需要频繁演化和精细控制,就必须回到代码。
第三版的核心转变: 不再预设分析步骤,而是给模型一组工具和一份数据契约,让它自己规划 。整体架构分四层。
# 伪代码:带反思与预算控制的 Agent 主循环state = {"goal": user_query, "artifacts": {}, "history": []}while not done(state) and state["step"] < MAX_STEPS:plan = llm.plan(goal=state["goal"], artifacts=state["artifacts"]) # 强推理模型result = tool_registry.execute(plan.tool, plan.args, ctx=state) # 权限在此校验if result.error:reflection = llm.reflect(plan, result.error) # 归因并重规划state["history"].append(reflection)continuestate["artifacts"][plan.name] = result.output # 产物显式落盘state["step"] += 1
关键设计是 产物显式化 :所有中间结果(数据表、图表、统计结论)写入带版本号的 artifact store,而不是塞进对话上下文。这既解决了 v1.0 的产物传递失真,也让多轮追问可以复用已有产物——用户说”换个维度看”,只需重跑受影响的节点。业界在长程任务上的普遍做法也是强化沙箱内的文件连续交互与多 Agent 间的状态共享,以维持需求一致性。
工具粒度决定了 Agent 的上限。太粗(”做漏斗分析”)模型无法组合,太细(”执行这条 SQL”)模型容易出错。可用的划分:
query_metric(metric, dims, filters, time_range):语义层查询,屏蔽物理表结构execute_python(code, dataset_refs):沙箱内跑 pandas/matplotlibdetect_anomaly(series, method):同比/环比/贡献度拆解render_report(sections, charts):结构化报告生成工具描述里必须写清 适用与不适用场景 ,这是模型正确选型工具的主要依据。
这是企业场景最难的一环。做法是把权限从”代码里的 if”变成 可声明、可校验的策略 :
# 数据权限策略示例(列级 + 行级 + 口径约束)policy:subject: role:game_analyst_l2allow:datasets: [sdk_funnel, retention_daily]columns: [channel, os, country, dau, conversion_rate] # 不含 revenue, user_idrow_filter: "country in {allowed_countries} and project_id = {user_projects}"deny_methods: [raw_user_level_query]require_pii_masking: true
执行链路上的三道闸:
这样”帮我看看上个月各渠道的付费率,收入部分不用看”就能被正确翻译为一次合规查询,而”把用户 ID 明细导出来”会被策略层拦住—— 权限判断交给确定性代码,语义理解交给模型 ,两者不混。
代码执行必须隔离:无外网、只读挂载数据集、CPU/内存/超时限额、禁止文件系统逃逸。同时补齐 trace(每次工具调用的入参、出参、耗时、token)、回放和评测集,否则无法回答”这次效果变差是哪一步导致的”。
Agent 的 token 消耗极不均衡,全链路用同一个旗舰模型是常见的成本浪费。合理做法是分层:
| 环节 | 能力要求 | 选型倾向 |
|---|---|---|
| 意图理解 / 规划 | 强推理、长上下文 | 旗舰推理模型 |
| 代码生成 | 代码能力强、性价比 | 代码专精模型 |
| 工具参数填充 / 格式化 | 稳定、便宜 | 轻量模型 |
| 报告润色 | 中文表达 | 中低价位通用模型 |
成本估算可以直接按 token 用量算:
单任务成本 = Σ(输入token × 输入单价) + Σ(输出token × 输出单价) + 重试次数 × 单次成本
注意最后一项: 成功率是成本的隐藏乘数 。若单任务平均重试 1.5 次,实际成本就是理论值的 2.5 倍。把一次成功率从 50% 提到 85%,节省的往往比换更便宜的模型更多。做这类评估时,可以在词元所的大模型 API 服务平台横向对比不同模型的单价与能力定位,再用统一 API 接入做 A/B,避免把成本估算建立在厂商宣传口径上。
如果你正在为游戏数据分析 Agent 做模型选型或成本控制,可以先在百度智能云词元所查模型能力与价格、通过统一 API 接入多个候选模型做小流量对比,再决定生产链路上每一环用哪个模型。