BOS
更新时间:2023-12-07
BOS DDL
CREATE TABLE bos_table (
`field01` STRING,
`field02` BIGINT,
`field03` FLOAT,
`field04` BINARY,
`field05` INT,
`field06` TINYINT,
`field07` BOOLEAN,
`field08` DATA,
`field09` DOUBLE,
`field10` SMALLINT
) WITH (
'connector.type' = 'BOS',
'format.encode' = 'JSON',
'connector.scan' = 'STREAM',
'connector.path' = 'bos://asc-sandbox-su/bos-source/json/'
);
BOS 参数设置
名称 | 简称 | 是否必填 | 用例 | SPARK | FLINK | 说明 |
---|---|---|---|---|---|---|
connector.type | type | Y | BOS |
Y | Y | 服务类型 |
format.encode | encode | Y | JSON / CSV |
Y | Y | 数据编码 |
connector.scan | scan | STREAM / STATIC , 默认 STREAM |
Y | Y | 数据读取形式,仅用于STREAM类型的作业中,流表join时生效 | |
connector.path | path | Y | bos://bsc-sandbox/bos-source/json/ |
Y | Y | 输入/输出文件在BOS上的路径 |
connector.bucket.num-files | num-files | 1 |
Y | 输出bucket中文件的数量 | ||
connector.bucket.check-interval | check-interval | 默认10000 |
Y | 输出bucket检查间隔,单位:毫秒 | ||
connector.bucket.datetime-pattern | datetime-pattern | yyyy-MM-dd--HH , 参考DateTimeFormatter |
Y | 按时间的分桶策略时,分桶格式 | ||
connector.bucket.commit.delay | commit.delay | 10000 |
Y | 提交success文件的延时时间,单位:毫秒。需要和connector.bucket.commit.success-file.name 一起使用 |
||
connector.bucket.commit.success-file.name | commit.success-file.name | 默认_SUCCESS |
Y | success文件名称,需要和connector.bucket.commit.delay 一起使用 |
||
connector.bucket.rolling-policy.file-size | rolling-policy.file-size | 默认134217728 |
Y | 分割文件的最大大小 | ||
connector.bucket.rolling-policy.rollover-interval | rolling-policy.rollover-interval | 默认1800000 |
Y | 定期分割文件的时间间隔 | ||
connector.bucket.rolling-policy.inactivity-interval | rolling-policy.inactivity-interval | 默认1800000 |
Y | 分割滚动文件的空闲时间间隔,例如空闲30分钟即滚动写入新文件 | ||
connector.bucket.bucket-policy.by-field | bucket-policy.by-field | a |
Y | 按字段的分桶策略时,指定字段名称 | ||
connector.bucket.bucket-policy.ignore-error | bucket-policy.ignore-error | true |
Y | 按字段的分桶策略时,对分桶字段数据进行容错 |