DTS支持专线迁移
概览
本文主要介绍使用网络专线的混合云数据迁移。
需求场景
混合云数据迁移方案,适用于使用网络产品专线,以专线一端为用户侧IDC的实例或其他友商云数据库,另一端为百度智能云数据库实例的网络拓扑,将用户数据从用户侧IDC实例或其他友商云数据库迁移至百度智能云实例。
方案概述
通过网络产品专线,在用户数据中心(IDC)或其他友商云数据库和百度智能云私有网络(VPC)间构建混合云,形成网络互通。使用数据传输服务(DTS)进行数据迁移。
如下图,以数据类型 MySQL 迁移为例,使用 DTS 在混合云场景的迁移数据时,由于 DTS 不能跨多跳路由直接访问源端数据库进而迁移数据到目标端数据库,需要借助端口转发及 BLB 映射等方式来访问源端数据库。
redir 工具是一款高效、实用的端口转发工具,可以解决 DTS 不能跨多跳路由的问题,将 DTS 访问云服务器 BCC 实例上指定端口的请求,转发到源端数据库实例,进而迁移源端数据库实例中的数据到目标端数据库实例。
迁移前置条件
- 百度智能云与用户侧 IDC 或其他友商之间专线网络已经打通。
- 确保用户百度智能云账号下存在已接入专线网络的私有网络和子网。
- 迁移的数据类型为百度智能云数据传输服务所支持的数据类型,如:MySQL。
- 确保用户百度智能云账号下存在可用作目标端的数据库实例,如:云数据库 RDS 实例。
操作步骤
1、redir 工具使用
1.1 创建云服务器 BCC 实例
在百度智能云主页选择产品->云基础->计算->云服务器 BCC即可购买
注意:- 云服务器 BCC 的不同规格对迁移性能影响不大,但是由于 redir 进程转发 DTS 任务传输的数据时,对 BCC 的 CPU 资源有一定的消耗,因此不同规格 BCC 可以同时转发的 DTS 任务数量有所不同,可以按照1核能够同时转发最多5个 DTS 任务的转发进行估算。例如,若需同时转发10个 DTS 任务,可以选择购买最小规格的 bcc.g4.c2m8 部署 redir。
- 选择网络类型时,确保 BCC 所选私有网络(VPC)和子网已经接入专线网络。
- 操作系统推荐选择 CentOS 8.x 版本,因为 CentOS 8 默认的软件源自带 redir软件,无需购买弹性公网IP即可安装。若选择其他操作系统可能需要购买弹性公网IP eip,以便安装 redir 工具。
1.2 安装 redir 工具
若操作系统为 CentOS 8,实际安装流程比较简单,登录 BCC 后直接执行以下命令即可完成安装:
dnf install redir
安装后文件默认路径:
若需要在其他操作系统中安装 redir 工具,可参照 https://pkgs.org/download/redir 中的安装方法。
例如选择 CentOS 8 x86_64 (64bit):
点击redir-3.3-3.el8.x86_64.rpm链接,参考Install Howto章节进行安装:
1.3 运行 redir 进程
二进制默认目录为/usr/bin/redir,启动时需要输入转发规则作为参数,规则格式为:
redir 0.0.0.0:本机端口 目的host:目的端口
例如:
redir 0.0.0.0:3306 rm-xxxxx.mysql.rds.a.com:3456
表示将任意地址访问本机 3306 端口的请求,转发至访问 rm-xxxxx.mysql.rds.a.com 的 3456 端口。此处目的host、目的端口应为待迁移源端数据库的host与端口。
执行该命令后,redir 会自动启动一个后台进程,持续进行端口的监听与转发工作
2、配置DTS 任务迁移
2.1 创建 DTS 任务
在DTS的管理控制台点击左侧【数据传输任务】TAB标签,点击【创建数据传输任务】按钮
在跨专线迁移至百度智能云的场景,"源端位置"应选择自建数据存储,"源端接入类型"选择专线接入;"目标端位置"选择百度智能云数据库,"目标端接入类型"选择云数据库RDS。
数据类型、同步方向以及链路规格根据实际情况选择即可。
然后点击【下一步】,完成购买配置。页面会跳转到管理控制台任务列表页,列表页的最上方会新增一个未配置状态的 DTS 任务,就是用户创建的迁移任务,点击【配置任务】即可进行任务配置。如果页面跳转后未发现列表页出现新任务,建议等待一段时间(约一分钟)后重新刷新页面。
2.2 配置 DTS 任务
首先进入任务连接配置页,部分配置项会自动根据创建任务时的选择自动选定并无法修改,例如"源端位置"为自建数据存储,"源端接入类型"为专线接入;"目标端位置"为百度智能云数据库,"目标端接入类型"为云数据库RDS。请根据源端/目标端数据库所在的地域,将 DTS 任务的"源端地域" / "目标端地域"选择为最接近数据库的地域,这样可以发挥最好的迁移性能。
源端"专线接入所在网络"一项请选择专线打通的VPC,"主机名/IP"一项请填写搭建 redir 所用的 BCC 的内网 IP,"端口"一项请填写 redir 监听的 BCC 本地端口。"账号""密码"两项请填写源端MySQL数据库的账号与密码。 若配置目标端为百度智能云数据库 RDS 实例,目标数据类型会根据源端数据类型自动匹配,选择要迁入的云数据库 RDS 实例即可。
至此,已完成 DTS 借助 redir 工具在专线网络下的任务配置,接下来按照 DTS 常规步骤进行操作,即可完成数据迁移。
相关产品
云服务器BCC:高性能、高可靠、安全稳定的弹性计算服务
云数据库 SCS:兼容 Redis、Memcached 协议的分布式缓存服务
云数据库 RDS:专业、高性能、高可靠的关系型数据库
云数据库 DocDB for MongoDB:兼容 MongoDB 协议的文档数据库服务