配置任务 接口说明
配置传输任务,内容包括传输对象的映射关系,数据库连接信息等。
请求结构
POST /v{ version} /task/{ dtsId} /config
Host: dts.baidubce.com
Authorization: authorization string
{
"type" : "migration" ,
"granularity" : "instance" ,
"schemaMapping" : [ {
"dst" : "test.table_dst" ,
"src" : "test.table_src" ,
"where" : "where" ,
"type" : "table"
} ] ,
"dataType" : [ "base" ] ,
"srcConnection" : {
"dbPass" : "dbPass" ,
"dbPort" : 3306 ,
"instanceId" : "rdsmfgdti3d53f5" ,
"instanceType" : "bcerds" ,
"dbUser" : "_dts_trans_" ,
"field_whitelist" : "field_whitelist" ,
"dbType" : "mysql" ,
"dbHost" : "192.168.1.1" ,
"field_blacklist" : "field_blacklist" ,
"region" : "bj"
}
}
请求体参数
参数名称
参数类型
是否必选
描述
示例值
参数位置
version
String
是
API版本号
"1"
URL参数
dtsId
String
是
任务ID
"dtsmxxxyyy"
URL参数
type
String
是
任务类型(数据传输任务:migration),目前仅支持数据传输任务
migration
Request Body 参数
dataType
String[]
是
传输数据类型数组(schema:结构迁移;base:全量迁移;increment:增量迁移)
["base"]
Request Body 参数
srcConnection
Connection
是
源端
srcConnection
Request Body 参数
dstConnection
Connection
是
目标端
dstConnection
Request Body 参数
granularity
String
是
传输任务的粒度(instance:实例级;dbtb:库表级)
instance
Request Body 参数
schemaMapping
Schema[]
是
schema
schema
Request Body 参数
accountMapping
AccountMapping[]
否
账号迁移
accountMapping
Request Body 参数
incrIgnoreType
String
否
特殊DDL过滤
drop,truncate
Request Body 参数
initPosition
InitPosition
否
自定义同步点
initPosition
Request Body 参数
Connection字段数据结构说明
参数名称
参数类型
是否必选
描述
示例值
instanceType
String
是
实例类型
bcerds
region
String
是
地域
bj
dbType
String
是
数据库类型
mysql
dbUser
String
否
数据库访问账号
dts_trans
dbPass
String
否
数据库访问密码
dbPort
Integer
否
数据库访问端口
3306
dbHost
String
否
数据库IP或主机名
192.168.1.1
dbName
String
否
数据库名称
mssql_datatype
instanceId
String
否
实例ID
rdsmfgdti3d53f5
dbServer
String
否
数据库IP或主机名。支持IP:端口,IP或域名与端口以英文冒号分隔,多个地址以英文逗号分隔
192.168.1.1:3306
shardUrl
String
否
分片IP或主机名。支持IP:端口,IP或域名与端口以英文冒号分隔,多个地址以英文逗号分隔 。注意:· Redis可支持同时设置不同分片及同一分片不同节点的IP:端口,当源端/目标端主从切换等导致的原有主节点变动时,可自动寻主,提升传输链路高可用能力。当您需要同时设置链路高可用时,需按分片维度分别填写主从IP:端口,各分片之间IP/端口以英文分号分隔,同一分片不同节点之间以英文逗号分隔。当您无需设置链路高可用时,不同分片之间英文分号间隔即可。· 分片集MongoDB可支持同时设置主从shard的IP:端口,当源端/目标端主从切换等导致的原有主节点变动时,可自动寻主,提升传输链路高可用能力。当您需要同时设置主从shard 的IP:端口时,需按shard维度分别填写主从shard的IP:端口,主从shard 地址之间以英文逗号分隔,不同shard之间以分号分隔。
192.168.1.1:3306,192.168.1.1:3306
announceServer
String
否
redis cluster announce IP/Port。若redis cluster低于4.0或未设置announce IP/Port该字段填空即可。长度限制10240
192.168.1.1:3306,192.168.1.1:3306(与dbServer一一对应)
field_whitelist
String
否
列过滤(白名单)
field_whitelist
field_blacklist
String
否
列过滤(黑名单)
field_blacklist
srcDstFlag
String
否
公有云上redis实例:必选。标识公有云上实例源端和目标端。源端取值"src",目标端取值"dst"。非公有云,非redis实例:可为空。
src
supportOnlineDDL
String
否
同步Online DDL,同步Online DDL 会引起目标端数据替换,可能出现同步失败或目标端数据丢失。
true,false
maxRetryTime
String
否
重试时间,源库、目标库无法连接后自动重试,用户可根据实际情况, 调整重试时间,或者在源端和目标端的实例释放后尽快释放DTS实例。
720
sqlType
String
否
同步语句选择
I,U,D,Q
positionStrategy
String
否
可选值:fail(如果给定offset不存在,这任务报错退出) base(如果给定offset不存在,则任务从全量开始重新同步)
fail
zone
String
否
接入类型为bcegateway时,需要指定可用区
cn-bd-a
vpcShortId
String
否
接入类型为bcegateway时,需要指定VPC短ID
vpc-46k27rb9wppz
subnetShortId
String
否
接入类型为bcegateway时,需要指定子网短ID
sbn-qtm3d4eituqc
version
String
否
接入类型为kafka时,需要指定kafka版本
0.9.0.1
brokers
String
否
接入类型为kafka时,需要指定Broker列表
10.152.80.28:9092
topic
String
否
接入类型为kafka时,需要指定topic
10.152.80.29:9092
control
String
否
接入类型为kafka时,需要指定访问控制类型
""
sid
String
否
接入类型为oracle时,需要指定Service Name
DCLHR
charset
String
否
接入类型为oracle时,需要指定导出类型
"";ZHS16GBK;UTF8
incrType
String
否
物化视图日志:mlog;归档日志:logminer
mlog
Schema字段数据结构说明
参数名称
参数类型
是否必选
描述
示例值
type
String
否
需要传输的对象类型,取值有:db(库),table(表), view(视图),function(函数), procedure(存储过程)
table
src
String
否
源库的schema名称
test.table_src
dst
String
否
目标库的schema名称
test.table_dst
where
String
否
where过滤条件
where
AccountMapping字段数据结构说明
参数名称
参数类型
是否必选
描述
示例值
user
String
否
用户
dts_user
hosts
String[]
否
地址
["%", "1.2.3.4", "10.10.10.1"]
InitPosition字段数据结构说明
参数名称
参数类型
是否必须选
描述
示例值
type
String
否
· mysql数据流包括binlog和gtidset两种· redis数据流为offset
offset
position
String
否
· mysql binlog示例: mysql-bin.000000:123456, binlog文件的起始position值为4· mysql gtidset示例:3f36fc07-d556-11e9-b75c-a0d3c1fa9c05:1-24541631,6a6878f3-27e6-11ea-bfcb-b8599f4c2f78:1-2659 未指定点位默认从最新点位开始迁移。· redis实例replication backlog中有效有效的offset值,格式为:"9654766427"。若不填写则标识做全量+增量迁移
9654766427
响应头参数
除公共头域,无其它特殊头域。
响应体参数
响应体字段数据结构说明
参数名称
参数类型
是否必选
描述
示例值
dtsId
String
是
任务ID
dtsxxxyyyzzz
请求示例
POST /v1 /task/{ dtsId} /config
Host: dts.baidubce.com
ContentType: application/json
Authorization: authorization string
{
"type" : "migration" ,
"granularity" : "instance" ,
"schemaMapping" : [ {
"dst" : "test.table_dst" ,
"src" : "test.table_src" ,
"where" : "where" ,
"type" : "table"
} ] ,
"dataType" : [ "base" ] ,
"srcConnection" : {
"dbPass" : "dbPass" ,
"dbPort" : 3306 ,
"instanceId" : "rdsmfgdti3d53f5" ,
"instanceType" : "bcerds" ,
"dbUser" : "_dts_trans_" ,
"field_whitelist" : "field_whitelist" ,
"dbType" : "mysql" ,
"dbHost" : "192.168.1.1" ,
"field_blacklist" : "field_blacklist" ,
"region" : "bj"
}
}
响应示例
HTTP/1.1 200 OK
{
"dtsId" : "dtsxxxyyyzzz"
}