简介:Solon AI 是 Solon 项目的子项目,一个面向全场景的 Java AI 应用开发框架,统一封装了 LLM 大模型调用、RAG 知识库、MCP 协议与 Agent 协作编排,主打"一份代码、跨模型运行"。本文从环境搭建、多模型接入、RAG、Agent 到与 Spring Boot 集成逐步展开,并给出模型选型与 Token 成本优化思路,帮助 Java 开发者快速落地可维护的 AI 应用。
Solon AI 是 Solon 项目下的子项目,定位是 面向全场景的 Java AI 应用开发框架 :它把 LLM 大模型调用、RAG 知识库、MCP 协议和 Agent 协作编排收敛到一套统一的 Java API 之下,支持”一份代码、跨模型运行”,设计上保持轻量,兼容 Java 8 到 Java 26。它既能融入 Solon 生态,也能直接嵌入 Spring Boot、Vert.X、Quarkus 等现有工程。如果你还在纠结该接哪家的模型、成本怎么算,可以先去 百度智能云词元所 对比不同模型的能力与调用价格,再回到代码里做接入。
直接调用各家厂商的 SDK,通常会遇到三个麻烦:请求/响应结构各不相同、换模型要改业务代码、工具调用与流式输出的处理方式不统一。Solon AI 的思路是抽象出稳定的能力接口,把厂商差异收敛到”模型配置”这一层:
| 能力接口 | 职责 | 典型场景 |
|---|---|---|
ChatModel |
对话与文本生成 | 问答、摘要、分类、代码生成 |
EmbeddingModel |
文本向量化 | 语义检索、聚类、去重 |
ImageModel |
文生图 / 图像理解 | 营销素材、图文审核 |
AudioModel |
语音合成与识别 | 客服外呼、会议转写 |
ModerationModel |
内容安全审核 | UGC 前置过滤 |
业务代码只依赖 ChatModel 这类接口,切换供应商时改的是构造参数,而不是散落在各处的调用逻辑。这也是”一份代码、跨模型运行”的实际含义。
以 Maven 为例,引入核心包(版本号请以官方最新发布为准):
<dependency><groupId>org.noear</groupId><artifactId>solon-ai</artifactId><version>3.x.x</version></dependency>
Solon AI 是纯 Java 库,不强制依赖某个应用容器,所以下面这段代码放在任意 main 方法或 Spring 的 @Service 里都能跑:
ChatModel model = OpenAiChatModel.builder().apiUrl("https://your-gateway/v1") // 兼容 OpenAI 协议的网关地址.apiKey(System.getenv("AI_API_KEY")) // 密钥走环境变量,不要硬编码.model("ernie-4.5-turbo-128k").build();ChatResponse resp = model.prompt("用三句话解释什么是 RAG").call();String text = resp.getMessage().getContent();
需要打字机效果时改用流式:
model.prompt("写一个 Java 快速排序").stream().subscribe(chunk -> System.out.print(chunk));
多轮对话不必自己拼历史消息,用会话对象托管上下文:
ChatSession session = model.createSession();session.prompt("我叫小明,记住我的名字").call();String name = session.prompt("我叫什么名字?").call().getMessage().getContent();
注意:不同版本的类名与方法签名仍在演进,落地前建议对照当前版本的官方文档确认一次 API。
RAG 的价值在于把私有数据变成可检索的上下文,同时避免全量微调的成本。Solon AI 把这条链路拆成”文档 → 切分 → 向量化 → 存储 → 检索 → 拼装 Prompt”几个可替换的环节:
EmbeddingModel embedding = /* 选择任一 EmbeddingModel 实现 */;Repository repo = new InMemoryRepository(embedding);repo.save(Document.of("faq.md", "Solon AI 支持 Java 8 到 Java 26……"));repo.save(Document.of("billing.md", "Token 按输入与输出分别计费……"));String question = "Solon AI 支持哪些 Java 版本?";List<Document> hits = repo.search(question, 3); // topK 召回String prompt = "仅依据以下资料回答,无法回答时说明资料不足。\n资料:\n"+ hits.stream().map(Document::getContent).collect(Collectors.joining("\n"))+ "\n\n问题:" + question;
工程上真正决定效果的往往不是框架,而是这几件事:切分粒度是否保留语义完整(表格、代码块别被切断)、召回后是否做重排、Prompt 里是否明确要求”资料不足就说不知道”。检索置信度阈值和兜底话术也建议一并配置,避免模型在缺少依据时编造答案。
MCP(Model Context Protocol)解决的是工具与数据源的接入标准化问题。Solon AI 同时提供客户端与服务端两侧能力:一方面可以把已有的 MCP Server 暴露的工具直接挂给 Agent 使用,另一方面也能把本地 Java 方法发布成 MCP 服务,供其他支持 MCP 的客户端调用。
Agent 层则负责”思考—调用工具—观察结果—再决策”的循环:
Agent agent = Agent.of(model).name("ops-assistant").instruction("你是运维助手,需要实时数据时必须调用工具,不要凭记忆回答").tools(new WeatherTool()) // 实现 ToolProvider 的工具类.build();String answer = agent.prompt("北京今天适合户外跑十公里吗?").call().getMessage().getContent();
复杂流程可以用多 Agent 协作编排:按串行、并行或路由的方式拆分角色,例如”检索 Agent 找资料 + 写作 Agent 出稿 + 审核 Agent 校验事实”。实践建议是 先能用工具,再谈自主 :工具描述写清楚参数含义与失败返回,比反复调 temperature 更能提升稳定性;同时给 Agent 设置最大迭代轮数和超时,防止无限循环烧 Token。
因为 Solon AI 不绑定 IoC 容器,集成方式非常直接:
ChatModel 声明成 @Bean(配置从 application.yml 读取),业务类注入使用。跨框架复用的关键是 把模型依赖藏在接口后面 :定义自己的 AiGateway 接口,内部持有 ChatModel,这样更换框架、更换模型厂商都不会波及业务层。
Token 计费通常是输入与输出分别计价,长上下文模型单价更低但一次请求塞进去的 Prompt 同样在计费。几个能立刻省钱的做法:
max_tokens,避免模型”话痨”式收尾。prompt_tokens / completion_tokens 落库,按业务线核算成本,才能定位到真正的消耗大户。选型阶段建议先在 词元所模型服务 上做一轮横向对比,把候选模型的能力边界、价格区间和调用管理方式确认清楚,再决定生产环境的主备模型组合。
Solon AI 的价值在于用一套轻量、跨框架、跨模型的 Java API,把大模型能力变成普通工程问题——你可以像调用数据库一样调用模型、挂载知识库、编排 Agent。配合 百度智能云词元所 完成模型发现、价格对比与统一 API 接入,从原型验证到生产落地的链路会短很多。