导入数据 目前 PALO 支持两种数据导入方式:BOS 文件导入 和 本地文件导入。 BOS 文件导入 BOS 是百度对象存储的简称。关于如何开通和使用BOS,可以参考 这里 。 PALO 通过名为 broker 的进程读取 BOS 上的数据并导入到 PALO 存储引擎中。
配置消息流转 通过配置baetyl-rule实现消息流转,该应用可订阅 baetyl-broker 的消息主题,发送到自身的其他消息主题,同时支持函数处理。 点击rule应用,修改rule-conf的配置项,修改conf文件内容如下。
响应体参数 响应体字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 success boolean 是 是否成功 true result Result 是 返回结果 result Result字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 dtsCheckTask DtsCheckTask 是 dtsCheckTask dtsCheckTask DtsCheckTask字段数据结构说明
核心概念 核心概念 在您使用数据流转平台前,请先阅读并了解如下关键词的概念: 迁移任务 :用户发起的由一个源端到一个目的端的数据迁移任务; 迁移文件 :迁移任务中发起迁移操作的文件; 迁移进程 :一个迁移任务的迁移过程,过程中可以查看文件的迁移进度,如 共需迁移 xx 个文件,已成功迁移 xx 个,失败 xx 个,待迁移文件 xx 个; 迁移任务配置 :对迁移任务进行配置,包括配置源端和目的端的 AS
导入未标注数据 目录 导入未标注数据方式说明 从本地上传图片导入 从本地上传压缩包导入 导入线上已有数据集 导入未标注数据方式说明 为选定的实例分割数据集导入未标注数据(即原始图片)的方式有两种。一种为从本地选择图片文件;一种为从平台中其余同为图片类型数据集中导入。 从本地上传图片导入 选择 无标注数据-本地-上传图片 ,点击上传图片后选择本地图片文件进行导入。
缓存的配置 仅在7.10.2版本支持 配置 说明 默认值 类型 bpack.migrate.max_bytes_per_sec 置冷数据时数据上传bos速率限制值 40m 字符串 bpack.bosfs.cache.custom_cache_names 缓存系统支持多级缓存,分别用来缓存不同访问粒度的数据。此配置列出所有缓存的名字,即使不配置,系统也会默认有2个缓存,名字为default和dic。
Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器,可以从各种数据源收集事件,统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费,以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
增量数据迁移是将源库迁移过程中新增的数据实时同步到目标库中。如果创建数据迁移任务时,同时选择了全量数据迁移和增量数据迁移,则迁移过程中会先将源库中静态数据迁移到目标库,然后将增量数据同步到目标库。 DTS迁移过程中对源数据库是否有影响,是否会删除源库中数据?
创建flume配置文件 把flume的StressSource作为source,使用内存channel,通过HDFS协议写入BOS。