自动构建向量索引 - 向量数据库
自动构建向量索引 自动构建向量索引 向量索引是一种针对向量类型数据而建立的索引机制，类似于传统的标量索引，其最终目的是为了加速向量检索的过程。大部分向量索引不支持增量构建，而全量构建会消耗大量的内存和cpu资源。因此，我们在存储结构上分为stable数据（已经落盘的数据）和delta数据（未落盘的数据）。
Table 操作 - 向量数据库
取值为[4, 128]； 2. efconstruction：搜索时，指定寻找节点邻居遍历的范围。数值越大构图效果越好，构图时间越长。取值为[8, 1024]； 3.
向量索引的选择与管理 - 向量数据库
中低 中低 中高 DISKANN索引结合了图遍历和量化技术，以实现快速和准确的检索。DISKANN索引利用磁盘存储来降低成本，同时保持高效的查询性能，使得DISKANN成为一种经济高效的解决方案，尤其适用于资源受限或者对成本敏感的应用场景。 SPARSE_OPTIMIZED_FLAT 针对稀疏向量的FLAT索引。
Table 操作 - 向量数据库
不可以为空值的字段包括：主键字段、分区键字段、向量字段和索引键字段。 Dimension Int 向量维度，仅当字段类型为FLOAT_VECTOR时，才需要指定该参数。 ElementType String 数组类型字段的元素类型。 仅当字段类型为ARRAY时，才需要指定该参数。 MaxCapacity Int 数组类型字段的最大容量，默认不限制。 仅当字段类型为ARRAY时，才需要指定该参数。
千帆+Langchain+VectorDB 建立简单的 RAG 示例 - 向量数据库
嵌入向量生成（Embedding Generation） 对每个文档或文档的部分生成嵌入向量。 这些嵌入向量捕捉文档的语义信息，方便后续的相似度比较。 写入向量数据库（Writing to Vector Database） 将生成的嵌入向量存储在一个向量数据库中。 数据库支持高效的相似度搜索操作。 查询生成（Query Generation） 用户提出一个问题或输入一个提示。
实例资源规划 - 向量数据库
存储资源 存储容量计算方式 ： Shell 复制 1 存储容量 = 源数据大小 * ( 1 + 数据膨胀 + 内部其他开销 ) * ( 1 + 预留空间 ) 源数据大小 = 标量数据量 + 向量数据量 向量数据量 ≈ (4 dims) num of vectors * 4 通常数据膨胀率为120%-200%，系统需要额外的空间存储内置字段、标量索引、向量索引等，在这些额外的存储需求中，占比最大的通常是向量索引
Row 操作 - 向量数据库
请求头域 除公共头域外，无其它特殊头域。 请求参数 以下仅列举与向量检索的请求参数有差异的参数： 参数名称 类型 是否必填 参数位置 描述 iteratedIds String 是 RequestBody参数 当前 search iterator 已经遍历过的数据 响应头域 除公共头域外，无其它特殊头域。
应用场景 - 向量数据库
我们的向量数据库解决方案充分利用大模型的推理能力，针对私域数据提供定制化、高效的知识管理和检索服务。 核心功能 统一的客户向量数据全生命周期管理 ：支持数据从存储、索引到检索的全生命周期管理，确保私域数据的完整性和可用性。 多模私域数据存储和检索管理 ：无论是文本、图像还是其他类型的数据，都能提供高效的存储和检索解决方案。
关键概念 - 向量数据库
每个字段都有自己的类型和取值范围，可以是字符串、数字等不同类型的数据。 记录（Row） 在向量数据库中，记录可以指的是一个文档或数据实体，相当于关系型数据库中的一行数据。 索引（Index） 索引是一种特殊的数据结构，用于快速查找和访问数据，主要存储在内存中。索引本身不存储数据，而是存储指向数据存储位置的指针或键值对。Baidu Cloud VectorDB 支持如HNSW等常见的向量索引类型。
功能简介 - 向量数据库
这种设计允许用户根据业务需求自由定义模块实现，与向量数据库高效结合，完成文档的导入、分块、向量化和检索功能。 主要组成模块包括： 文档管理模块 ：处理本地文件或对象存储文件。 文档处理模块 ：解析文档并分块，便于后续处理。 嵌入模块 ：将文本内容转化为向量表示。 检索模块 ：支持向量检索、全文检索以及混合检索。 基础概念 文档管理 ：提供文档的添加、删除、列出和加载功能，支持本地文件和云端存储。
