注意事项 CopyTable工具更多地被用于停机迁移 CopyTable工具使用HBase API进行数据迁移,对集群吞吐量可能有影响 迁移示例 购买一台BCC,在BCC中下载并配置HBase shell工具包,令其能够链接目标集群 在目标集群建表。
1、新建 rule-conf 配置项 配置项代码 clients : - name : iotcore kind : mqtt address : 'tcp://agwrbcp.iot.gz.baidubce.com:1883' username : thingidp@agwrbcp | device1 | 0 | MD5 password : facd01cc28f85cf3d223b2529f479a38
查看数据校验 本文介绍如何在数据传输服务 DTS 控制台查看数据校验任务。 前提条件 已配置数据校验任务。详细操作,请参见 配置数据校验 。 操作步骤 登录 DTS 控制台 。 查看单任务校验任务 选择目标迁移任务,点击任务名称进入任务详情。 在任务详情页面左侧菜单中,点击 数据一致性校验 。 选择需要查看的校验任务,点击操作中的 查看详情 。
数据格式化的设置 数据的格式化有两个地方可以进行设置: 图表绑定数据字段时 在图表绑定数据时,可以对度量类的字段进行数据格式化方式的设置,如下图将数据转换为流量大小 KB、MB : 数据模型中设置 也可以在数据模型上对度量字段进行设置,如下图。在数据模型上设置了格式化方式之后,所有使用该数据模型的图表都将生效,相当于在一处设置即可影响多个图表。
Bucket数据同步 若用户需要开启Bucket之间的数据同步,则如下代码可以做到: 参数 是否必须 描述 id 是 replication规则名,id 由数字字母 - _ 组成,不得超过20个字符 status 是 是否生效,生效为enabled resource 是 replication生效前缀,resource的配置形式为{$bucket_name/<生效的对象前缀>},必须要以
中也有单独的数据门户功能,详见 数据门户 。
配置迁移任务 您只需在控制台上进行简单操作,即可完成迁移任务的配置。 3. (可选)管理任务 查看任务进度 任务启动后,您可以根据数据传输任务列表页面的运行状态,查看迁移任务的进展。 修改同步对象 在增量同步过程中,您可以新增或删除同步对象。 配置监控报警 支持自定义告警策略功能,您可以通过云监控服务监控 DTS 的数据传输性能和运行状况。 4.
源端 目标端 MySQL MySQL GaiaDB GaiaDB 单节点 MongoDB 单节点 MongoDB 副本集 MongoDB 副本集 MongoDB 分片集 MongoDB 分片集 MongoDB 主从版 Redis 主从版 Redis 集群版 Redis 集群版 Redis 操作文档 配置数据校验 查看数据校验
添加Kafka到数据目的地列表 使用其他账号下Kafka时,需要先将对应的Kafka添加到数据目的地列表中,之后在配置数据目的地时选中。 详细添加步骤见《数据目的地管理》章节。 数据转发流程 与写入消息服务 for Kafka一致 操作流程 与写入消息服务 for Kafka一致 存储到时序数据库TSDB 您可以配置规则,将数据转发到时序数据库TSDB的实例中存储。
创建并查看数据洞察任务 平台提供交互性与可视化兼备的数据洞察工作台,对SFT数据集进行多维透视“诊断”与处理,为大语言模型打造更高质量的精调数据。 创建数据洞察 登录到 本平台 ,在左侧功能列数据处理中选择 数据洞察与处理 ,进入数据洞察的主任务界面,整体流程如下: 选择对应数据集的数据集,选择“开始使用”,新发起的数据洞察任务需要1~3分钟的洞察时间。