Solon AI 实战:Java 全场景 AI 应用开发框架入门

作者:热心市民鹿先生2026.11.17 03:32浏览量:0

简介:Solon AI 是 Solon 项目的子项目,一个面向全场景的 Java AI 应用开发框架,统一封装了 LLM 大模型调用、RAG 知识库、MCP 协议与 Agent 协作编排,主打"一份代码、跨模型运行"。本文从环境搭建、多模型接入、RAG、Agent 到与 Spring Boot 集成逐步展开,并给出模型选型与 Token 成本优化思路,帮助 Java 开发者快速落地可维护的 AI 应用。

Solon AI 是 Solon 项目下的子项目,定位是 面向全场景的 Java AI 应用开发框架 :它把 LLM 大模型调用、RAG 知识库、MCP 协议和 Agent 协作编排收敛到一套统一的 Java API 之下,支持”一份代码、跨模型运行”,设计上保持轻量,兼容 Java 8 到 Java 26。它既能融入 Solon 生态,也能直接嵌入 Spring Boot、Vert.X、Quarkus 等现有工程。如果你还在纠结该接哪家的模型、成本怎么算,可以先去 百度智能云词元所 对比不同模型的能力与调用价格,再回到代码里做接入。

一、它解决的核心问题:把”模型差异”挡在业务代码之外

直接调用各家厂商的 SDK,通常会遇到三个麻烦:请求/响应结构各不相同、换模型要改业务代码、工具调用与流式输出的处理方式不统一。Solon AI 的思路是抽象出稳定的能力接口,把厂商差异收敛到”模型配置”这一层:

能力接口 职责 典型场景
ChatModel 对话与文本生成 问答、摘要、分类、代码生成
EmbeddingModel 文本向量化 语义检索、聚类、去重
ImageModel 文生图 / 图像理解 营销素材、图文审核
AudioModel 语音合成与识别 客服外呼、会议转写
ModerationModel 内容安全审核 UGC 前置过滤

业务代码只依赖 ChatModel 这类接口,切换供应商时改的是构造参数,而不是散落在各处的调用逻辑。这也是”一份代码、跨模型运行”的实际含义。

二、十分钟跑通第一个调用

以 Maven 为例,引入核心包(版本号请以官方最新发布为准):

  1. <dependency>
  2. <groupId>org.noear</groupId>
  3. <artifactId>solon-ai</artifactId>
  4. <version>3.x.x</version>
  5. </dependency>

Solon AI 是纯 Java 库,不强制依赖某个应用容器,所以下面这段代码放在任意 main 方法或 Spring 的 @Service 里都能跑:

  1. ChatModel model = OpenAiChatModel.builder()
  2. .apiUrl("https://your-gateway/v1") // 兼容 OpenAI 协议的网关地址
  3. .apiKey(System.getenv("AI_API_KEY")) // 密钥走环境变量,不要硬编码
  4. .model("ernie-4.5-turbo-128k")
  5. .build();
  6. ChatResponse resp = model.prompt("用三句话解释什么是 RAG").call();
  7. String text = resp.getMessage().getContent();

需要打字机效果时改用流式:

  1. model.prompt("写一个 Java 快速排序").stream()
  2. .subscribe(chunk -> System.out.print(chunk));

多轮对话不必自己拼历史消息,用会话对象托管上下文:

  1. ChatSession session = model.createSession();
  2. session.prompt("我叫小明,记住我的名字").call();
  3. String name = session.prompt("我叫什么名字?").call().getMessage().getContent();

注意:不同版本的类名与方法签名仍在演进,落地前建议对照当前版本的官方文档确认一次 API。

rag-">三、RAG:让模型回答”你的”知识

RAG 的价值在于把私有数据变成可检索的上下文,同时避免全量微调的成本。Solon AI 把这条链路拆成”文档 → 切分 → 向量化 → 存储 → 检索 → 拼装 Prompt”几个可替换的环节:

  1. EmbeddingModel embedding = /* 选择任一 EmbeddingModel 实现 */;
  2. Repository repo = new InMemoryRepository(embedding);
  3. repo.save(Document.of("faq.md", "Solon AI 支持 Java 8 到 Java 26……"));
  4. repo.save(Document.of("billing.md", "Token 按输入与输出分别计费……"));
  5. String question = "Solon AI 支持哪些 Java 版本?";
  6. List<Document> hits = repo.search(question, 3); // topK 召回
  7. String prompt = "仅依据以下资料回答,无法回答时说明资料不足。\n资料:\n"
  8. + hits.stream().map(Document::getContent).collect(Collectors.joining("\n"))
  9. + "\n\n问题:" + question;

工程上真正决定效果的往往不是框架,而是这几件事:切分粒度是否保留语义完整(表格、代码块别被切断)、召回后是否做重排、Prompt 里是否明确要求”资料不足就说不知道”。检索置信度阈值和兜底话术也建议一并配置,避免模型在缺少依据时编造答案。

agent-">四、MCP 与 Agent:从”会聊天”到”能干活”

MCP(Model Context Protocol)解决的是工具与数据源的接入标准化问题。Solon AI 同时提供客户端与服务端两侧能力:一方面可以把已有的 MCP Server 暴露的工具直接挂给 Agent 使用,另一方面也能把本地 Java 方法发布成 MCP 服务,供其他支持 MCP 的客户端调用。

Agent 层则负责”思考—调用工具—观察结果—再决策”的循环:

  1. Agent agent = Agent.of(model)
  2. .name("ops-assistant")
  3. .instruction("你是运维助手,需要实时数据时必须调用工具,不要凭记忆回答")
  4. .tools(new WeatherTool()) // 实现 ToolProvider 的工具类
  5. .build();
  6. String answer = agent.prompt("北京今天适合户外跑十公里吗?").call()
  7. .getMessage().getContent();

复杂流程可以用多 Agent 协作编排:按串行、并行或路由的方式拆分角色,例如”检索 Agent 找资料 + 写作 Agent 出稿 + 审核 Agent 校验事实”。实践建议是 先能用工具,再谈自主 :工具描述写清楚参数含义与失败返回,比反复调 temperature 更能提升稳定性;同时给 Agent 设置最大迭代轮数和超时,防止无限循环烧 Token。

五、与 Spring Boot / Vert.X / Quarkus 集成

因为 Solon AI 不绑定 IoC 容器,集成方式非常直接:

  • Spring Boot :作为普通依赖引入,把 ChatModel 声明成 @Bean(配置从 application.yml 读取),业务类注入使用。
  • Solon :通过生态内的插件注入配置,享受与 Solon 配置体系一致的使用体验。
  • Vert.X / Quarkus :在启动阶段完成模型构建并持有引用即可;Quarkus 下注意把构建期初始化的资源与运行期配置分开。

跨框架复用的关键是 把模型依赖藏在接口后面 :定义自己的 AiGateway 接口,内部持有 ChatModel,这样更换框架、更换模型厂商都不会波及业务层。

六、模型选型与 Token 成本:别只看单价

Token 计费通常是输入与输出分别计价,长上下文模型单价更低但一次请求塞进去的 Prompt 同样在计费。几个能立刻省钱的做法:

  1. 按任务分级选模型 :意图识别、标签分类、格式转换用小模型;复杂推理、长文写作才上旗舰模型。
  2. 压缩上下文 :RAG 只召回真正相关的片段,别把整篇文档塞进 Prompt。
  3. 限制输出长度 :合理设置 max_tokens,避免模型”话痨”式收尾。
  4. 记录用量 :把响应里的 prompt_tokens / completion_tokens 落库,按业务线核算成本,才能定位到真正的消耗大户。
  5. 统一接入层 :多模型混用时,用统一 API 网关收口鉴权、限流与调用日志,比在每个服务里维护多套 SDK 更可控。

选型阶段建议先在 词元所模型服务 上做一轮横向对比,把候选模型的能力边界、价格区间和调用管理方式确认清楚,再决定生产环境的主备模型组合。

七、上线前的检查清单

  • 密钥统一走环境变量或密钥管理服务,仓库里不出现明文 Key;
  • 所有模型调用设置超时、重试与降级策略,主模型不可用时能切备用模型;
  • 面向用户的输出加内容审核与敏感信息过滤;
  • 结构化输出(如 JSON)必须做 schema 校验与失败重试,不能直接透传给下游;
  • 保留 Prompt 与响应的采样日志,为后续的 Prompt 迭代和效果评估提供依据。

Solon AI 的价值在于用一套轻量、跨框架、跨模型的 Java API,把大模型能力变成普通工程问题——你可以像调用数据库一样调用模型、挂载知识库、编排 Agent。配合 百度智能云词元所 完成模型发现、价格对比与统一 API 接入,从原型验证到生产落地的链路会短很多。