全局模型调用分析
更新时间：2025-06-23
全局模型调用分析
全局模型调用分析是从全局角度来查看所有模型调用相关数据，并支持模型切换，查看具体一个模型的相关数据。
- 概览数据：
| 面板 | 说明 |
|---|---|
| LLM模型调用次数 | 展示所有应用在指定时间段内调用大模型的次数 |
| LLM模型调用QPS | 展示所有应用在指定时间段内调用大模型的QPS |
| LLM模型调用错误数 | 展示所有应用在指定时间段内调用大模型的错误数 |
| LLM模型调用错误率 | 展示所有应用在指定时间段内调用大模型的错误率 |
| Token用量 | 展示所有应用在指定时间段使用的Token用量，可查看input 和output |
| Avg Tokens per LLM call | 展示所有应用在指定时间段每次大模型调用平均使用的Token用量，可查看input和output |
- 模型调用趋势数据：
| 面板 | 说明 |
|---|---|
| LLM模型调用次数调用趋势图 | 默认展示所有应用LLM模型调用次数调用趋势图 可切换LLM模型调用QPS 可切换Avg LLM call per request 表示每次用户请求平均大模型调用次数 |
| LLM模型调用错误数趋势图 | 默认所有应用LLM模型调用错误数趋势图，可切换LLM模型调用错误率趋势图 |
| LLM模型调用耗时趋势图 | 展示所有应用LLM模型调用耗时趋势图，支持Avg，p90，p95，p99耗时 |
| LLM模型调用首Token耗时趋势图 | 展示所有应用LLM模型调用首Token耗时趋势图 ，支持Avg，p90，p95，p99耗时 |
- Token数据趋势图：
| 面板 | 说明 |
|---|---|
| Token用量趋势 | 展示所有应用在指定时间段使用的Token用量趋势，可查看input 和output |
| Avg Tokens per LLM call趋势 | 展示所有应用在指定时间段每次大模型调用平均使用的Token用量趋势 |
- 应用排行Top5：
| 面板 | 说明 |
|---|---|
| LLM模型调用次数 应用Top5 | 基于所有应用对大模型的调用，统计大模型调用次数Top5的应用，支持切换趋势图显示 |
| LLM模型调用错误数 应用Top5 | 基于所有应用对大模型的调用，统计大模型调用错误Top5的应用，支持切换趋势图显示 |
| LLM模型调用平均耗时 应用Top5 | 基于所有应用对大模型的调用，统计大模型调用平均耗时Top5的应用，支持切换趋势图显示 |
| LLM模型调用首Token平均耗时 应用Top5 | 基于所有应用对大模型的调用，统计大模型调用首Token平均耗时Top5的应用，支持切换趋势图显示 |
评价此篇文章