简介:低价大模型API未必是陷阱,但便宜要能被成本解释。本文拆解低价来源,列出六类常见套路,给出可直接运行的延迟、成功率和一致性测试脚本,并附账单核对清单与月成本公式,帮你判断哪些渠道可以试用,哪些应当直接远离。
低价API可以用,但要分层判断,不能看到单价低就直接充值。
判断标准是成本结构能否被解释。GPU、电费、带宽、机房和运维都要花钱。服务商可以把单位成本压低,靠的是更高的算力利用率、更好的调度和模型量化等工程手段。如果一个渠道的价格低到无法用这些因素解释,就要提高警惕。
第三方API的成本可以拆成六项:
前四项可以通过技术指标间接估算,后两项需要查阅服务商的条款和公开信息。
下面的表格列出常见的低价陷阱、识别信号和验证动作。
| 套路 | 识别信号 | 验证动作 | 处置建议 |
|---|---|---|---|
| 价格只写折扣不写原价 | 页面只显示”0.1折”,没有标准单价 | 对照官方价格表,计算折扣后的每千token单价 | 无法给出单价时不充值 |
| 无限并发 | 宣传无限QPS,但没有限流数值 | 按第三节脚本逐步加压,记录出现429时的并发数 | 以实测限流值为准,不以宣传为准 |
| 失败也计费 | 账单中有大量失败请求的扣费 | 对比服务端日志与账单中的请求数 | 要求退款或更换渠道 |
| 偷换模型 | 标称大模型,实际返回的风格或能力明显较弱 | 用固定题目做一致性和质量抽查 | 发现偷换后直接停用 |
| 充值走私聊或个人账户 | 只能加微信转账,没有发票和订单号 | 检查是否有企业主体、备案信息和官方支付页 | 不在私人账户充值 |
| 转售密钥或数据滥用 | 密钥来源不明,服务条款缺少隐私说明 | 查看数据留存期限、是否用于训练、能否删除日志 | 涉及敏感数据的业务一律不用 |
测试脚本用于检验三件事:成功率、延迟和输出一致性。运行前请遵守以下要求:
环境准备:
pip install requests
设置环境变量(以Linux或macOS为例):
export LLM_BASE_URL="https://your-provider.example.com/v1"export LLM_API_KEY="your-test-key"export LLM_MODEL="your-model-name"export TEST_N="20"export TEST_TIMEOUT="30"export TEST_RETRIES="2"
脚本保存为 api_check.py:
import osimport timeimport statisticsimport requestsBASE_URL = os.environ["LLM_BASE_URL"].rstrip("/")API_KEY = os.environ["LLM_API_KEY"]MODEL = os.environ["LLM_MODEL"]N = int(os.environ.get("TEST_N", "20"))TIMEOUT = float(os.environ.get("TEST_TIMEOUT", "30"))RETRIES = int(os.environ.get("TEST_RETRIES", "2"))HEADERS = {"Authorization": f"Bearer {API_KEY}","Content-Type": "application/json",}PROMPT = "计算 17+25。只输出数字,不要解释。"EXPECTED = "42"def call_once(prompt):payload = {"model": MODEL,"messages": [{"role": "user", "content": prompt}],"temperature": 0,"max_tokens": 16,}for attempt in range(RETRIES + 1):start = time.perf_counter()try:resp = requests.post(f"{BASE_URL}/chat/completions",headers=HEADERS,json=payload,timeout=TIMEOUT,)latency = time.perf_counter() - startif resp.status_code == 200:data = resp.json()text = data["choices"][0]["message"]["content"]usage = data.get("usage", {})return {"ok": True, "latency": latency, "text": text, "usage": usage}if resp.status_code in (429, 500, 502, 503, 504) and attempt < RETRIES:time.sleep(2 ** attempt)continuereturn {"ok": False,"latency": latency,"status": resp.status_code,"body": resp.text[:200],}except (requests.RequestException, KeyError, ValueError) as exc:if attempt < RETRIES:time.sleep(2 ** attempt)continuereturn {"ok": False, "latency": None, "status": None, "body": str(exc)[:200]}def main():results = [call_once(PROMPT) for _ in range(N)]ok = [r for r in results if r["ok"]]success_rate = len(ok) / Nprint(f"请求总数: {N}")print(f"成功率: {success_rate:.1%}")if ok:latencies = sorted(r["latency"] for r in ok)p50 = statistics.median(latencies)p95 = latencies[min(len(latencies) - 1, int(len(latencies) * 0.95))]consistency = sum(EXPECTED in r["text"] for r in ok) / len(ok)total_prompt = sum(r["usage"].get("prompt_tokens", 0) for r in ok)total_completion = sum(r["usage"].get("completion_tokens", 0) for r in ok)print(f"P50延迟: {p50:.2f}s")print(f"P95延迟: {p95:.2f}s")print(f"输出一致性: {consistency:.1%}")print(f"输入token合计: {total_prompt}")print(f"输出token合计: {total_completion}")else:print("没有成功请求,请检查地址、密钥和模型名。")for r in [r for r in results if not r["ok"]][:3]:print("失败样例:", r.get("status"), r.get("body"))if __name__ == "__main__":main()
运行方式:
python api_check.py
判定阈值:
| 指标 | 建议通过线 | 说明 |
|---|---|---|
| 成功率 | 不低于99% | 低于此值时排查限流或稳定性问题 |
| P95延迟 | 不超过业务超时时间的一半 | 具体数值由业务决定 |
| 输出一致性 | 不低于98% | temperature为0时仍有偏差,应换更复杂的题目抽查 |
| 账单差异 | 不超过5% | 见第四节 |
并发测试需要逐步提高并发数,在出现429之前停止,并记录该渠道的实际上限。这个脚本只能说明接口可用,不能证明模型身份。要确认模型是否被替换,需要用多道题目比对该渠道与官方接口的答案。
单次成本的计算方式:
单次成本 = 输入token数 ÷ 1000 × 输入单价 + 输出token数 ÷ 1000 × 输出单价
月成本的计算方式:
月成本 = 月请求数 × 单次成本 × (成功率 + 失败率 × 失败计费比例)
变量说明:
示例:假设某渠道输入单价为0.002元每千token,输出单价为0.006元每千token。这些数字只用于演算,不代表任何真实渠道。平均每次请求输入800token,输出300token。
单次成本 = 800 ÷ 1000 × 0.002 + 300 ÷ 1000 × 0.006 = 0.0016 + 0.0018 = 0.0034元
月请求数为30000次,成功率为97%,失败按全额计费时:
月成本 = 30000 × 0.0034 × (0.97 + 0.03 × 1) = 102元
失败不计费时:
月成本 = 30000 × 0.0034 × (0.97 + 0.03 × 0) = 98.94元
失败率为3%时两者仅相差3.06元。失败率升到20%时,全额计费为102元,不计费为81.6元,相差20.4元。失败率越高,计费规则越影响实际支出。
对账步骤:
| 步骤 | 做法 | 通过标准 |
|---|---|---|
| 1 | 从应用日志统计本月请求数、成功数和失败数 | 与服务商后台的请求数差异不超过1% |
| 2 | 从响应中的usage字段汇总输入和输出token | 与账单token数差异不超过2% |
| 3 | 按公式计算理论费用 | 与账单金额差异不超过5% |
| 4 | 核对账单单价与官方价格表 | 完全一致,不一致时要求对方书面解释 |
| 5 | 核对失败请求是否计费以及计费规则 | 规则已在条款中写明 |
| 6 | 检查是否有未说明的附加费用,如最低消费、余额过期清零 | 无附加费用,或已书面约定 |
账单差异率的计算方式为:|账单金额 − 理论金额| ÷ 账单金额。差异超过5%时,按以下顺序排查:重试导致的重复计费,缓存命中后的计费差异,模型别名指向更贵的型号,平台在请求中追加系统提示词导致的额外token。
| 渠道类型 | 适用场景 | 禁用条件 |
|---|---|---|
| 云平台免费额度和学生计划 | 原型开发、功能测试、学习 | 额度过期后无提示自动扣费;需要实名或企业认证但未说明 |
| 正规推理服务商 | 长期业务,且只处理非敏感数据 | 没有价格表、没有限流说明、没有数据处理条款 |
| 聚合网关 | 多模型切换,降低接入成本 | 不说明上游来源;日志或请求内容的留存期限不明;无法导出账单 |
| 社交群低价渠道 | 只适合一次性小额试验 | 涉及客户数据、个人隐私或生产环境;要求私下转账;不开发票 |
出现以下任一情况时,立即停止使用该渠道:
免责声明:本文的测试方法仅用于评估你自己有权使用的服务。充值前请核对服务条款和退款规则,并使用非敏感数据进行测试。