简介:FunctionGemma 是 Google 于 2025 年 12 月发布的 270M 参数函数调用专精模型,基于 Gemma 3 架构,把"选工具、填参数"这件重复劳动从通用大模型手里剥离出来,让手机、IoT、边缘盒子也能跑 Agent。本文拆解它的技术路线、提示词与约束解码写法、端侧部署方式,并给出"端侧小模型 + 云端大模型"的混合选型思路;如果你正在为工具调用场景挑模型、比成本,可以先看看[百度智能云词元所](https://cloud.baidu.com/product-s/token_exchange.html?from=article)的模型选型与价格对比能力。
过去两年,我们把所有任务都塞进 Chat 接口:让模型一边聊天一边顺手输出一段 JSON 当工具参数。这在云端能用,靠的是千亿参数模型的指令遵循能力硬撑。但到了端侧,问题立刻暴露:
FunctionGemma 的思路是 任务专精 :不做通用对话,只解决函数调用这一个问题。270M 参数量意味着量化后体积可压到几百 MB 级别,能常驻端侧、毫秒级返回,把”意图识别 + 参数抽取”这层前置工作本地化,只把真正需要推理的部分交给云端大模型。
函数调用本质上是一个 受约束的结构化生成任务 ,而不是开放式创作。它的输入输出空间被三样东西牢牢框住:
正因为搜索空间小,270M 参数配合高质量蒸馏数据,就能在”工具选择准确率”和”参数抽取正确率”上逼近大模型表现。这也是 Google 选择用 Gemma 3 架构而非从零训练的原因——底座的多语言与语义理解能力可以复用,只需把输出分布”掰”向结构化方向。
工程上还有一层保障: 约束解码(Constrained Decoding) 。在推理阶段用语法(如 GBNF、正则或 JSON Schema 编译的状态机)屏蔽非法 token,模型物理上无法生成不闭合的 JSON。小模型 + 约束解码,是端侧函数调用可靠性的关键组合,单靠提示词约束是不够的。
FunctionGemma 的输入模板请以官方 model card 为准,但工具声明的组织方式是通用的:
import jsonTOOLS = [{"name": "set_timer","description": "设置一个倒计时定时器","parameters": {"type": "object","properties": {"duration_seconds": {"type": "integer", "description": "时长,单位秒"},"label": {"type": "string", "description": "定时器名称"}},"required": ["duration_seconds"]}},{"name": "get_weather","description": "查询指定城市的当前天气","parameters": {"type": "object","properties": {"city": {"type": "string"}},"required": ["city"]}}]def build_prompt(user_utterance: str) -> str:return ("You are a function calling assistant. ""Choose at most one tool from the list and output ONLY a JSON object "'of the form {"name": <tool>, "arguments": {...}}. '"If no tool applies, output {\"name\": null, \"arguments\": {}}.\n\n"f"Tools: {json.dumps(TOOLS, ensure_ascii=False)}\n"f"User: {user_utterance}\n""Output:")
from transformers import AutoTokenizer, AutoModelForCausalLMimport torchmodel_id = "google/FunctionGemma" # 以官方发布的实际仓库名为准tok = AutoTokenizer.from_pretrained(model_id)model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.float32, device_map="cpu")def call_tool(utterance: str) -> dict:inputs = tok(build_prompt(utterance), return_tensors="pt")out = model.generate( **inputs, max_new_tokens=128, do_sample=False)raw = tok.decode(out[inputs["input_ids"].shape[1]:], skip_special_tokens=True)return json.loads(raw) # 生产环境请加 try/except 与 schema 校验print(call_tool("帮我定个 5 分钟的番茄钟,叫专注"))# {'name': 'set_timer', 'arguments': {'duration_seconds': 300, 'label': '专注'}}
移动端优先走 llama.cpp / MLC-LLM 路线:把权重转成 GGUF 并量化(Q4_K_M 通常是体积与精度的平衡点),用系统 NPU/GPU 后端加速。要点有三个:
| 场景特征 | 推荐方案 |
|---|---|
| 工具集固定(<50 个)、参数简单、离线或弱网 | 端侧 FunctionGemma 类小模型 |
| 工具数量大、需跨工具多步规划 | 云端大模型 + Agent 框架 |
| 参数需外部知识(查数据库、读文档) | 云端模型 + RAG |
| 高并发、成本敏感的单一意图分类 | 小模型或传统分类模型 |
一个务实的架构是 分层 :端侧小模型做意图分流和简单参数抽取,命中不了再升级到云端。这样既省 token,也保住复杂场景的效果。
云端这一层,模型选型和成本核算往往比写代码更耗时。同一个工具调用任务,不同模型的价格可能差一个数量级,而效果差异未必同比。建议在词元所的大模型 API 服务平台上横向对比候选模型的调用成本与能力定位,再用统一 API 接入做 A/B 验证——这样切换模型时不用改业务代码,压测和灰度都方便。调用量起来之后,也可以在平台上做调用管理与成本归因,看清哪类请求在吃预算。
FunctionGemma 代表的不是”更小的通用模型”,而是 能力解耦:把 Agent 链路拆成”感知/分流”和”深度推理”两层,各自用最合算的模型。对开发者的直接价值是端侧 Agent 第一次具备了工程可行性——离线可用、响应即时、零 token 成本。
落地时按这个顺序推进:先固化工具 schema 与输出契约,再加约束解码兜底,然后用真实 badcase 做小规模微调,最后设计端云回退策略。至于云端那一层用什么模型、花多少钱,建议在百度智能云词元所上把候选模型的参数、价格与适用场景先摸清楚,再决定分流阈值——选型做对了,端侧小模型的性价比才真正跑得出来。