简介:星辰语义大模型(TeleChat)是中国电信体系内研发的开源大模型系列,主打全国产化训练与多轮幻觉治理。本文梳理 TeleChat2-115B 与 TeleChat3 系列的能力差异、技术亮点、典型落地场景,并给出选型清单、API 接入示例与 Token 成本优化方法,帮助开发者和企业判断它是否适合自己的业务。
星辰语义大模型由中电信人工智能科技有限公司研发,是一个开源大语言模型系列,训练使用了约 1.5 万亿 Tokens 的中英文高质量语料。它的两个鲜明标签是: 开源 、 全国产化 ——从算力集群到深度学习框架都跑在国产技术栈上。
关键节点:
如果你正在 several 个候选模型之间做取舍,建议先到 百度智能云词元所 把不同模型的能力定位和调用成本放在一起对比,再决定投入哪一条技术路线,避免”先接再换”的返工。
| 维度 | TeleChat2-115B | TeleChat3-105B-A4.7-Thinking | TeleChat3-36B-Thinking |
|---|---|---|---|
| 参数规模 | 115B 稠密 | 105B 总参数 / 约 4.7B 激活(细粒度 MoE) | 36B 稠密 |
| 架构特点 | 稠密 | 细粒度 MoE,推理只激活小部分参数 | 稠密,资源占用更可控 |
| 定位 | 通用基座 | 深度推理(Thinking) | 轻量推理,兼顾效果与成本 |
| 训练栈 | 全国产化万卡集群 + 国产框架 | 全国产化训练 | 全国产化训练 |
选型逻辑其实很清晰:
星辰系列比较值得关注的一点是它对 多轮幻觉 的系统性处理,而不是单点优化。公开的技术路径包括四类:
工程上,知识溯源这一点对落地价值最大。它把”模型说得对不对”从主观判断变成可验证问题:答案能定位到原文段落,就能做人工抽检、badcase 归因和持续优化。如果你要自己复刻类似效果,通用做法是 RAG + 强制引用 :检索片段带 doc_id 与段落号,在 prompt 中要求模型逐条标注引用来源,无法从材料中得出结论时明确回答”材料中未提及”。
系统提示(要点):1. 仅依据 <context> 中的内容回答,不得使用外部知识补全。2. 每个结论后用 [doc_id-pXXX] 标注来源。3. 若 context 不足以回答,直接回复"依据现有材料无法确认"。
这不只是合规叙事,而是实打实的工程约束与能力证明:
对开发者的实际影响:私有化部署时,推理框架、量化方案、算子支持的选项可能少于 CUDA 生态,上线前务必先在你的目标硬件上跑通 POC,重点验证长上下文吞吐、并发延迟和量化后精度损失。
多数国产开源模型会以 OpenAI 兼容协议对外提供服务,接入方式基本一致:
from openai import OpenAIclient = OpenAI(api_key="YOUR_API_KEY",base_url="https://your-endpoint/v1", # 替换为你所用平台的接入地址)resp = client.chat.completions.create(model="TeleChat3-36B-Thinking", # 替换为实际可调用的模型 IDmessages=[{"role": "system", "content": "你是政务公文助手,仅依据给定材料作答,无法确认时明确说明。"},{"role": "user", "content": "请根据材料,概括这份通知的三项核心要求。"},],temperature=0.3,)print(resp.choices.message.content)
两点注意:
temperature 压低(0.1~0.3)并固定随机种子,否则公文、客服类场景的复现性和评测结果都会不稳定。如果你不想为每个模型单独维护一套 SDK 和鉴权逻辑,词元所 提供的统一 API 接入方式可以降低多模型集成与切换的复杂度,同时集中管理调用情况。
大模型按 Token 计费,通用公式:
单次费用 = 输入 tokens / 1,000,000 × 输入单价+ 输出 tokens / 1,000,000 × 输出单价
优化方向:
max_tokens,公文摘要类任务尤其有效。具体单价各家不同且会调整,建议在 百度智能云词元所 上按你的日均调用量和输入/输出比例做实际测算,而不是只看单价高低——一个单价更低但输出更啰嗦的模型,总成本可能反而更高。
榜单成绩(SuperCLUE 铜牌、Agent 榜并列第二)可以作为初筛依据,但最终决策仍应回到你自己的评测集上:准备 100~200 条真实业务样本,统一评测口径横向对比,再结合成本得出结论。