千帆AI加速器_线上加速营_免费大模型案例课程_基于向量数据库构建企业级知识库
基于VDB创建向量数据库 去学习 0 4 搭建企业知识库：创建数据表 基于VDB创建数据表 去学习 0 5 搭建企业知识库：数据入库 基于VDB与千帆大模型平台搭建企业知识库通过代码实现数据入库并测试 去学习 0 6 搭建企业知识库：知识检索与问答 基于VDB及大模型实现知识检索与问答 去学习 0 7 搭建企业知识库项目总结 总结基于VDB与千帆大模型平台搭建企业知识库项目的实现过程 去学习 第四章
数据去重策略 - BML 全功能AI开发平台 | 百度智能云文档
平台去重策略 平台提供了可去重的数据集，即对您上传的数据进行重复样本的去重。注意：当您确定了数据集为去重或非去重的属性后，便不可修改。 当您创建了一个去重的数据集时，在后续上传数据的过程中，平台可通过检验您当前上传的样本与已上传到此数据集下的样本是否相同，如果相同，则会使用新的样本替代旧的样本。
获取数据元信息 对象存储（BOS）
系统定义的 Metadata 的详细描述参见下表： 名称 类型 描述 是否可被 用户修改 Cache-Control String 下载 Object 的 Cache 设置，常见的可取值为 private、no-cache、 max-age、must-revalidate。
数据清洗 - ModelBuilder
面向post-pretrain场景的数据清洗 登录到 本平台 ，在左侧功能列数据处理中选择 数据清洗 ，进入数据清洗的主任务界面，整体流程如下： 1.选择数据集 在数据处理-数据清洗页面中，选择“创建任务”。 处理前数据集：存放被清洗的泛文本源数据。 处理后数据集：存放清洗后的数据。
数据目的地管理 - 物联网核心套件IoTCore | 百度智能云文档
数据目的地管理 概述 数据目的地管理功能对规则有权限进行写入操作的下游产品进行统一管理，数据目的地分为百度智能云云产品和自定义两个类型。 百度智能云云产品 用户在百度云购买、开通的存储、计算、消息队列等产品，如时序数据库TSDB、百度消息服务for Kafka等。 该类型目的地不需要用户维护，系统会直接读取当前账户有权限操作的云产品列表供选择。
面向大数据存算分离场景的数据湖加速方案 | 百度智能云
下图是百度智能云大数据的一个处理流程，分为四个部分，数据采集、数据存储、计算分析和数据应用。 在数据采集的这部分，通过 Kafka、日志传输服务、实时同步或者增量同步的方案，把数据从关系型的数据库如 Oracle、MySQL、SQL Server，或者半结构或者非结化的存储平台以及第三方的业务、互联网数据等等，传输到存储系统。
导入BOS中的数据 - Baidu Palo/Doris 使用文档
通过外部表进行导入 PALO 也支持通过创建一张 Broker 外部表的方式引用BOS上存储的数据，然后通过 INSERT INTO SELECT 的方式导入数据。 创建一张表 创建一张用于存储数据的表。同上，不再赘述。 创建 Broker 外部表 创建外部表命令的具体说明可参阅 CREATE EXTERNAL TABLE 命令手册。
关系模型与数据划分 - Baidu Palo/Doris 使用文档
关系模型与数据划分 本文档主要介绍 PALO 的建表和数据划分，以及建表操作中可能遇到的问题和解决方法。 基本概念 在 PALO 中，数据都以关系表（Table）的形式进行逻辑上的描述。 Row & Column 一张表包括行（Row）和列（Column）。Row 即用户的一行数据。Column 用于描述一行数据中不同的字段。 在默认的数据模型中，Column 只分为排序列和非排序列。
数据校验概述 - 数据传输服务DTS | 百度智能云文档
数据校验概述 数据传输服务 DTS 提供了数据校验功能，该功能可以在不停服的情况下对源端和目标端的数据差异进行校验和检查，帮助您及时发现数据和结构不一致的问题。 优势 数据校验支持在不停服的情况下进行校验。 数据校验算法采用基于表的 Chunk 进行比对，具备高性能。 数据校验任务支持对源端和目标端全量数据的行级数据进行字段校验。
一文全览LangChain数据连接模块：从文档加载到向量检索RAG，理论+实战+细节 千帆社区
为内容编制索引时，会为每个文档计算哈希值，并将以下信息存储在记录管理器中： 文档哈希（页面内容和元数据的哈希） 写入时间 源id – 每个文档都应该在其元数据中包含信息，以便我们确定该文档的最终来源 6.3 Deletion modes 该模块还提供了 Deletion modes。它的应用场景是：将文档索引到向量数据库时，可能会删除数据库中的一些现有文档。
