相关产品 MapReduce 百度智能云MapReduce提供全托管的Hadoop/Spark计算集群服务,助力客户快速具备海量数据分析和挖掘能力 日志服务 日志服务BLS是一站式实时日志分析服务,提供日志数据采集传输、检索分析、实时消费与转储等功能 消息服务 for Kafka 消息服务 for Kafka提供全兼容Apache Kafka的分布式、高可扩展、高通量的消息托管服务
通过关系型数据库存储用于处理与计算的配置信息,供计算过程调用。 ⑤&⑥通过WEB交互控制全部流程与参数,灵活便捷。 同时,在方案实施过程中,百度提供的全天候的运维及技术支持也为复歌节省了不少人力成本。
操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 任务在结构迁移和全量迁移的过程中,不支持 DDL 操作。 若仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。
在本案例中,我们勾选“根据时间聚合”,注意选择源日志文件的时间戳为yyyyMMdd,这是跟我们服务器上日志文件名中的时间戳正则匹配的,BLS收集器将根据这个正则去匹配日志文件名,从而得到改日志文件对应的时间数据。然后,我们选择“用户自定义”,这里是配置具体的聚合路径,我们填入配置“%Y%m%d”,也就是把BOS目的端路径配置为bos://nginx-logs/%Y%m%d/。
全量同步不支持断点续传功能,增量同步支持断点续传,如果增量同步过程中连接断开了,在一定时间内恢复连接是可以继续进行增量同步的。但在某些情况下,比如断开的时间过久,或者之前位点的丢失,都会导致重新触发全量同步。 位点:增量的断点续传是根据位点来实现的,默认的位点是写入到目的端MongoDB中,库名是dynamo-shake-checkpoint。
否则全量数据迁移时 DTS 占用源和目标库一定读写资源,可能会导致数据库的负载上升。 操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 在结构迁移和全量迁移阶段,请勿执行库或集合的结构变更,否则数据迁移任务会失败。 在迁移过程中,请勿向目标库中写入新的数据,否则将导致源和目标数据不一致。
在该页面,可以根据实际需求选择组合结构迁移、全量迁移和增量同步。 若选择了增量同步,可以指定增量同步过程中同步的SQL语句类型,当前可选的SQL语句类型包含:INSERT、UPDATE、DELETE,不支持DDL语句的迁移,如下图所示。 如上图所示,增量同步当前支持两种可选的迁移方案:物化视图日志(mlog)方案和归档日志方案(logminer)。
操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 任务在结构迁移和全量迁移的过程中,不支持 DDL 操作。 请勿修改、删除源数据库和目标数据库中用户信息(包括用户名、密码和权限)和端口号。 请勿在源库上执行清除 Binlog 的操作。
否则全量数据迁移时 DTS 占用源和目标库一定读写资源,可能会导致数据库的负载上升。 操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 在结构迁移和全量迁移阶段,请勿执行库或集合的结构变更,否则数据迁移任务会失败。 在迁移过程中,请勿向目标库中写入新的数据,否则将导致源和目标数据不一致。
操作限制 迁移过程中请勿进行如下操作,否则会导致迁移任务失败。 任务在结构迁移和全量迁移的过程中,不支持 DDL 操作。 若仅执行全量数据迁移,请勿向源实例中写入新的数据,否则会导致源和目标数据不一致。为实时保持数据一致性,建议选择结构迁移、全量数据迁移和增量数据迁移。