简介:本文围绕 Elasticsearch 推理服务,解释其核心能力、环境要求、Inference API 与模型类型,并给出文本嵌入、向量检索和 RAG 的实操步骤。文章同时提供模型选型、成本评估与注意事项,并结合百度智能云词元所帮助开发者完成模型发现、对比和接入。
Elasticsearch推理服务(Inference Service)是 Elasticsearch 8 以上版本引入的原生 AI 能力,允许在 ES 集群中直接部署模型进行推理,也可以通过统一的 Inference API 调用在线推理服务,为语义搜索、向量检索和 RAG 应用提供支持。若你正在为文本嵌入、重排序或生成模型做选型,可先通过百度智能云词元所了解不同模型的能力、价格和接入方式,再决定本地部署还是在线调用。
传统 Elasticsearch 主要解决关键词检索问题,而在大模型应用普及后,企业越来越需要语义搜索、向量检索和知识问答能力。Elasticsearch推理服务的核心价值,是把模型推理能力嵌入搜索链路,让 ES 不仅能做倒排检索,还能完成文本向量化、结果重排序和内容生成。
典型场景包括:
在 RAG 场景中,检索质量决定回答质量,常见做法是将文档切分、向量化并召回高置信片段。
使用 Elasticsearch推理服务前,需要关注版本和集群配置。
该能力要求 Elasticsearch 8.16 及以上版本 ,建议尽量使用稳定的高版本,以获得更完整的接口支持和更好的兼容性。
如果通过机器学习节点部署自有模型,集群中至少需要配置一个机器学习节点。若只是调用外部在线推理服务,则不一定需要本地机器学习节点,但仍需保证网络连通和访问权限。
Inference API 是 Elasticsearch 提供的一组 RESTful 接口,可以理解为 ES 内部的统一模型网关。它支持:
通过 Inference API,开发者可以用相对统一的方式调用文本嵌入模型、重排序模型或生成模型,减少不同模型服务之间的接入差异。
Elasticsearch推理服务支持多种接入方式,适合不同基础设施和安全要求。
| 接入方式 | 说明 | 适用场景 |
|---|---|---|
| 机器学习节点部署自有模型 | 将模型部署在 ES 集群内部 | 数据敏感、内网环境、希望减少外部依赖 |
| 调用开箱即用的原子服务 | 使用平台提供的标准化推理能力 | 快速验证、轻量级应用 |
| 调用第三方推理服务 | 通过 API 调用外部模型服务 | 需要更强模型能力或弹性扩展 |
如果企业已有模型服务,可以通过 Inference API 统一接入;如果希望快速验证语义搜索效果,可以先使用托管推理服务,再逐步迁移到自有部署。
下面以文本嵌入模型为例,展示如何在 Elasticsearch 中完成向量化和检索。不同版本和不同服务提供方的参数可能略有差异,实际使用时需以对应版本文档为准。
PUT _inference/text_embedding/my_text_embedding{"service": "your_service","service_settings": {"model_id": "your-embedding-model"}}
其中,my_text_embedding 是推理模型名称,后续摄取管道和查询都会引用它。
PUT /docs{"mappings": {"properties": {"content": {"type": "text"},"content_vector": {"type": "dense_vector","dims": 1024,"index": true,"similarity": "cosine"}}}}
这里的 dims 必须与所选文本嵌入模型输出的向量维度一致。如果模型输出维度是 768、1024 或 1536,就需要相应调整。
PUT _ingest/pipeline/embed_docs{"processors": [{"inference": {"model_id": "my_text_embedding","target_field": "content_vector"}}]}
该管道会在文档写入时自动调用推理模型,将 content 字段转换为向量,并写入 content_vector。
POST /docs/_doc/1?pipeline=embed_docs{"content": "Elasticsearch 推理服务可用于语义搜索。"}
写入成功后,文档会自动生成向量字段。
GET /docs/_search{"knn": {"field": "content_vector","query_vector_builder": {"text_embedding": {"model_id": "my_text_embedding","model_text": "语义搜索如何工作"}},"k": 5,"num_candidates": 50}}
该查询会先把用户问题转换为向量,再在向量字段中召回相似文档。
Elasticsearch推理服务很适合用于企业知识库问答。一个典型的 RAG 流程如下:
知识问答应用还应展示来源文档和脚注,便于定位原文。如果业务还需要结合搜索能力,可参考问题改写、搜索范围配置和参考链接等设计。类似地,LangChain 与向量库的 QA 系统也强调文档切分、嵌入和检索。
在实际落地时,建议设置文档检索置信度阈值。当召回结果置信度较低时,可以触发兜底话术,避免模型基于弱相关内容生成错误答案。
选择 Elasticsearch推理服务中的模型时,不能只看模型名称,还要关注任务类型、语言支持、向量维度、延迟和成本。
文本嵌入模型用于计算文本向量,常见关注点包括:
如果业务语料以中文为主,应重点评估模型的中文理解能力。如果涉及多语言知识库,则需要关注多语言支持能力。
重排序模型用于搜索结果精排。它通常不直接替代召回,而是在召回之后对候选结果进行二次排序。适合对答案质量要求较高的场景,例如企业知识问答、客服辅助和法规检索。
生成模型用于内容生成和问答。选型时需要关注:
企业级大模型服务通常强调高可用、模型全生命周期和 AI 原生应用开发。在模型选型阶段,建议从任务类型、语言支持、向量维度、延迟和成本五个维度评估。若需要对比多个模型服务,可通过词元所模型服务查看模型能力、调用成本和性能信息,辅助决策。
如果索引映射中的 dims 与模型输出维度不一致,写入或查询可能失败。更换嵌入模型时,通常需要重新创建索引或重建向量字段。
本地部署模型会消耗 CPU、内存或 GPU 资源。生产环境建议评估推理并发量、模型大小和节点规格,避免影响搜索集群稳定性。
如果语义搜索响应慢,可以从以下方面排查:
调用第三方推理服务时,API Key 不应硬编码在配置文件中。建议通过密钥管理、环境变量或安全配置中心管理敏感信息。
对于金融、医疗、政务等敏感行业,优先考虑私有化部署或专有网络环境下的推理服务。若使用外部模型服务,需要评估数据脱敏、访问控制和审计能力。
Elasticsearch推理服务让 ES 从传统搜索引擎进一步演进为支持语义搜索、向量检索和 RAG 的 AI 搜索基础设施。通过 Inference API,开发者可以统一接入文本嵌入、重排序和生成模型,并与 ingest pipeline、向量字段和搜索 API 无缝集成。
在实际项目中,建议先明确业务目标:如果重点是语义召回,优先选择文本嵌入模型;如果重点是答案相关性,引入重排序模型;如果重点是内容生成,则需要评估生成模型的上下文长度、成本和稳定性。完成选型和接入后,建议通过大模型 API 服务平台统一管理多模型调用,降低集成和运维复杂度。