该功能启用后,会使用 BE 数据目录下 doris-scratch/ 目录存放临时的落盘数据,并在查询结束后,清空临时数据。 该功能主要用于使用有限的内存进行大数据量的排序操作。 注意,该功能为实验性质,不保证稳定性,请谨慎开启。 exec_mem_limit 用于设置单个查询的内存限制。默认为 2GB,单位为 B/K/KB/M/MB/G/GB/T/TB/P/PB , 默认为B。
同步延迟 同步延迟是指同步到目标数据库的最新数据的时间戳,与源数据库的当前时间戳之间的差值。 如果同步延迟为 0,则源数据库与目标数据库的数据完全同步。 数据更新 数据更新是指仅修改数据,未修改结构定义的操作,例如 INSERT、DELETE 和 UPDATE 操作。
准备阶段 本示例所用数据为BMR Samples公共数据集。 第一步 准备数据 本示例的建表以及数据可以通过sql文件进行, 下载地址 。 第二步 建表并导入数据 关于如何登录RDS数据库,参考 文档 。 登录RDS后,选择一个数据库导入下载的sql文件,构建bmr_public_data_logs数据表,导入公共数据集。
database :外部数据源中数据库的名称。 table :外部数据源中表的名称。 直接定义外部数据源。
元数据管理:基于物理表、映射表管理各类型数据源系统数据进行统一元数据管理,数据高效查找。 数据标签主题:自定义数据主题。 数据权限:库、表、列细粒度数据权限管控。 可视化开发Studio 离线开发,集成MR、Spark离线数据处理引擎,提供Sparksql、Hsql、python、scala多语言支持。
DTS支持的PostgreSQL源端数据类型 下表列出了使用DTS时支持的PostgreSQL源端数据类型以及与DTS数据类型的默认映射。 有关如何查看目标端映射的数据类型的信息,请参阅有关目标端数据源的数据类型映射部分。
BACKUP BACKUP Description 该语句用于备份指定数据库下的数据。该命令为异步操作。提交成功后,需通过 SHOW BACKUP 命令查看进度。 仅支持备份 OLAP 类型的表。
CloudFlow 内容分发网络 CDN 海外CDN 动态加速 DRCDN 并行文件存储PFS 数据库 云数据库 RDS 云数据库 Redis 云数据库 DocDB for MongoDB 云数据库 HBase 云数据库 GaiaDB 分布式数据库 GaiaDB-X 数据传输服务 DTS 云数据库 TableStorage 消息服务 for RabbitMQ 云原生 云原生微服务应用平台 函数计算
具体可以参阅数据导入文档。这里我们使用 Broker 导入做示例。 Broker 导入通过集群内置的 Broker 进程,读取外部存储上的数据进行导入。更多帮助请参阅操作手册中关于 Broker 的介绍。 使用 Broker 导入需要预先将导入数据文件存放到百度对象存储 BOS 上。我们在这里准备了一份 lineorder 表的数据(约 100MB)。用户可以下载后上传到自己的 BOS 中。
若目标端的表结构和源端不一致,表结构差异部分(包括差异部分的全部数据)会丢失。 场景 2 :在目标端数据库学生信息表增加了新列 GPA 。源端学生信息表进行同步 Online DDL 操作,修改列名字段 ID 为 StudentID ,同步到目标端会导致目标端学生信息表中新增的 GPA 列数据丢失。