一个查询计划扫描多个分片,将读取的数据以行的形式组织,每 1024 行为一个批次,调用 Broker 写入到远端存储上。 查询计划遇到错误会整体自动重试 3 次。如果一个查询计划重试 3 次依然失败,则整个作业失败。 导出文件的结构 导出作业会首先在指定的远端存储的路径中,建立一个名为 __doris_export_tmp_12345 的临时目录(其中 12345 为作业 id)。
BOS存储上的内容, 同时该路径支持读写,/var/lib/www/html000支持只读。
方案概述 示例日志 示例日志是Nginx日志,存储在对象存储服务BOS的公共可读的路径中: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。 存储在“华南-广州”区域的样例数据路径为:bos://datamart-gz/web-log-10k/,仅华南区域的BMR集群可用。
数据集导出(DatasetExport) ShouldToDatasetStoragePath 发布、共享只能导出到数据集存储路径 NotDatasetStoragePath 导出到的存储路径与数据集存储路径不符 EmptyEntity 数据集内无实体,不能发起导出 CanOnlyDeleteDefaultRecord 只允许删除普通导出记录 CantDeleteNotEndedRecord 该导出任务尚未结束
数据集导出(DatasetExport) ShouldToDatasetStoragePath 发布、共享只能导出到数据集存储路径 NotDatasetStoragePath 导出到的存储路径与数据集存储路径不符 EmptyEntity 数据集内无实体,不能发起导出 CanOnlyDeleteDefaultRecord 只允许删除普通导出记录 CantDeleteNotEndedRecord 该导出任务尚未结束
若源端和目的端间一端为单 AZ 但一端为多 AZ,当您选择 源存储类型 时,会存在潜在的类型错位,详情请查看 三方云和 BOS 存储类型对应关系 保存路径 根目录:数据存在目的端 Bucket 的根目录中 指定目录:输入一个指定目录。
优势1、HBase 根目录存储在 bos 中(HBase hfile存储文件和元信息)此数据在集群外部持续存在且可跨可用区访问。 优势2、较之前使用hdfs 3副本的冗余空间占用,大大节省了的存储空间。 优势3、避免集群资源的浪费,您可以针对计算要求而非数据规模要求调整 bmr 集群的大小,避免存储空间大但是计算需求小的情况存在资源浪费的情况。
BOS :百度云提供的对象存储服务,支持任何类型的数据存储。Bucket 是存放数据的容器,可看做是存储桶。 BOS 触发器 :BOS 和 CFC 的无缝集成。您可以为各种类型的事件设置处理函数,当 BOS 监控到指定类型的文件、事件后,会自动调用 CFC 函数。
若源端和目的端间一端为单 AZ 但一端为多 AZ,当您选择 源存储类型 时,会存在潜在的类型错位,详情请查看 三方云和 BOS 存储类型对应关系 保存路径 根目录:数据存在目的端 Bucket 的根目录中 指定目录:输入一个指定目录。
若源端和目的端间一端为单 AZ 但一端为多 AZ,当您选择 源存储类型 时,会存在潜在的类型错位,详情请查看 三方云和 BOS 存储类型对应关系 保存路径 根目录:数据存在目的端 Bucket 的根目录中 指定目录:输入一个指定目录。