使用Kafka作为DTS目标端 使用Kafka作为目标端,在任务创建、前置检查、任务启动、任务暂停、任务终止的操作流程请参考操作指南。在任务配置和对象映射部分与其他数据源有些许不同。 4.1 任务配置 首先进入任务连接配置页,图中以源端为 百度智能云数据库RDS for MySQL 为例,选择源端实例即可。 配置目标端连接信息时,首先要根据目标端Kafka集群的访问方式选择接入类型。
使用 MySQL 查询 通过 MySQL 客户端连接到 PALO 以后,可以通过 show databases; 查看数据库。使用 use db_name; 选择数据库,使用 show tables; 查看数据库中的表。
完成配置后点击 【授权白名单进入下一步】 按钮,进入对象映射配置页。 4.1.2.3 对象映射 配置任务-对象映射界面MySQL版配置参数说明如下: 迁移类型 :支持结构迁移、全量迁移和增量同步,其中增量同步为必选。 同步语句选择 :增量同步阶段,支持指定需要同步的SQL语句类型,可多选。 特殊DDL过滤 :增量同步阶段,在选择了同步DDL语句的情况下,支持过滤。
针对大量的物联网设备数据,规则引擎通过支持灵活的规则设置,对设备传上云端的设备时序数据、进行过滤、丰富、变换、动作、推送至不同的数据目的地(如时序数据库TSDB、Kafka、对象存储BOS等)以达到不同的业务目标。物联网规则引擎是基于事件驱动的数据流处理引擎,支持多种规则定义方式和描述方式。
4 使用Redis标准版作为源 使用Redis标准版实例作为源端,在任务创建、任务配置、前置检查、任务启动、任务暂停、任务终止的操作流程请参考最佳实践文档。在 任务配置 和 对象映射 部分与其他数据源有些许不同。 4.1 连接设置 4.1.1 创建任务 首先,在创建任务界面配置数据传输任务的部分上下游连接信息,创建任务时支持源端位置选择 百度智能云数据库 和 自建数据存储 。
方案概述 迁移前置条件 已创建作为迁移源端的MySQL数据库实例,版本为5.5、5.6或5.7。 已创建作为迁移目标端的Kafka集群或百度消息服务主题。 自建Kafka集群支持版本为0.9或0.10 。 源端MySQL迁移权限要求 当源端为自建数据库时,用户需要提供一个满足权限要求的迁移账号。
Windows 防火墙 原生Windows防火墙 添加基本出入站规则协助 修改防火墙配置文件 常见的数据库 MySQL MySQL官方发布的 5.x 版本 安装部署建议 基本的连接访问问题排查协助 SQL优化 数据库宕机日志排查 数据库表结构优化 数据库安全加固 Microsoft SQL Server 微软官方发布的SQL Server 2008/2012 版本 安装部署建议 基本的连接访问问题排查协助
了解数据库 SQL查询支持查看当前数据库的基本情况,用户可以点击编辑器右侧的“了解数据库”展开侧边栏。点击具体的数据表名称可以查看该数据表中包含的字段和表连接情况。 筛选变量 SQL查询同样支持筛选功能。
灵活性:支持多种数据源,包括关系型数据库、NoSQL数据库和对象存储。 查询优化:Trino提供了多种查询优化策略,如广播连接和分布式哈希连接,以提升性能。
功能发布记录 发布时间 功能分类 产品 功能名称 相关文档 发布地域 2024-12-05 新功能 数据传输服务 DTS 支持源端为 kafka 的任务修改并发消费者数量 变更任务规格 全部 2024-11-26 新功能 数据传输服务 DTS 支持 MongoDB 模式匹配,支持 SQL 类型过滤 传输对象范围 全部 2024-11-14 新功能 数据传输服务 DTS 支持 MongoDB 手动选择传输对象