数据更新 - Baidu Palo/Doris 使用文档
数据更新 PALO 中存储的数据都是以追加（Append）的方式进入系统，这意味着所有已写入的数据是不可变更的。 所以 PALO 采用 标记 的方式来实现数据更新的目的。即在一批更新数据中，将之前的数据标记为 删除 ，并写入新的数据。 在读取过程中，PALO 会自动处理这些标记数据（Merge-on-Read），保证用户读取到的是最新的数据。
数据加密 对象存储（BOS）
上传数据时，BOS对收到的用户数据进行加密，然后再将得到的加密数据持久化保存下来；下载数据时，BOS自动对保存的加密数据进行解密并把原始数据返回给用户，并在返回的HTTP请求Header中，声明该数据进行了服务器端加密。 BOS通过服务器端加密机制，提供静态数据保护。适合于对于文件存储有高安全性或者合规性要求的应用场景。例如，深度学习样本文件的存储、在线协作类文档数据的存储。
短文本匹配数据标注 - BML 全功能AI开发平台 | 百度智能云文档
短文本匹配数据标注 短文本匹配数据标注 打开短文本匹配数据集的标注页面，您可以看到全部未标注的数据 在页面右侧选择两个文本是相似还是不相似，便可完成标注
拷贝数据 对象存储（BOS）
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下，将某个存储空间(Bucket）内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回，才能进行拷贝操作，并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
使用SFTP上传下载CFS文件系统数据 - 文件存储CFS | 百度智能云文档
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域，已购买 云服务器BCC 实例（以下介绍将以CentOS操作系统为例），详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽，请根据业务需求配置适当的网络带宽。
数据去重 - EasyDL零门槛AI开发平台 | 百度智能云文档
例如： 以下3条都是文本实体抽取任务的重复样本，样本示例如下： 文本内容 实体类别 今天北京的空气不错 北京：loc 今天北京的空气不错 今天：date 今天北京的空气不错 北京：local 上述两个表中，都代表三个样本均为重复样本，后两个样本虽然标签不一，但文本内容一致，也为重复样本。
数据增强算子参考 - BML 全功能AI开发平台 | 百度智能云文档
数据增强算子参考 适用于图像分类的数据增强算子 算子名 功能 ShearX 剪切图像的水平边 ShearY 剪切图像的垂直边 TranslateX 按指定距离（像素点个数）水平移动图像 TranslateY 按指定距离（像素点个数）垂直移动图像 Rotate 按指定角度旋转图像 AutoContrast 自动优化图像对比度 Contrast 调整图像对比度 Invert 将图像转换为反色图像 Equalize
导入数据 - Baidu Palo/Doris 使用文档
导入数据 目前 PALO 支持两种数据导入方式：BOS 文件导入 和 本地文件导入。 BOS 文件导入 BOS 是百度对象存储的简称。关于如何开通和使用BOS，可以参考 这里 。 PALO 通过名为 broker 的进程读取 BOS 上的数据并导入到 PALO 存储引擎中。
千帆杯-Workflow常规赛（上期）开赛！自定义编排组件，拓展应用能力边界 千帆社区
自定义编排组件，拓展应用能力边界 大模型开发 / 技术交流 千帆杯挑战赛 2024.05.13 50248 看过 一、赛题内容 本期比赛不限应用创作主题，参赛者需运用AppBuilder来 编排组件 ，并确保所提交的参赛应用作品中 包含该组件 。 思路拓展：以下场景适合使用Workflow自定义编排组件 1.希望接入外部API能力，满足特定需求，比如和外部系统打通，获取外部系统数据等； 2.
获取数据元信息 对象存储（BOS）
获取数据元信息 概述 数据元信息（Object Meta）是对上传到 BOS 的文件的属性描述，分为两种：系统定义的 Meta 和 User Meta（用户自定义元信息）。数据元信息可以在各种方式上传时或者拷贝文件时进行设置。
