BOS
更新时间：2023-12-07
BOS DDL
CREATE TABLE bos_table (
`field01` STRING,
`field02` BIGINT,
`field03` FLOAT,
`field04` BINARY,
`field05` INT,
`field06` TINYINT,
`field07` BOOLEAN,
`field08` DATA,
`field09` DOUBLE,
`field10` SMALLINT
) WITH (
'connector.type' = 'BOS',
'format.encode' = 'JSON',
'connector.scan' = 'STREAM',
'connector.path' = 'bos://asc-sandbox-su/bos-source/json/'
);
BOS 参数设置
| 名称 | 简称 | 是否必填 | 用例 | SPARK | FLINK | 说明 |
|---|---|---|---|---|---|---|
| connector.type | type | Y | BOS |
Y | Y | 服务类型 |
| format.encode | encode | Y | JSON / CSV |
Y | Y | 数据编码 |
| connector.scan | scan | STREAM / STATIC， 默认 STREAM |
Y | Y | 数据读取形式，仅用于STREAM类型的作业中，流表join时生效 | |
| connector.path | path | Y | bos://bsc-sandbox/bos-source/json/ |
Y | Y | 输入/输出文件在BOS上的路径 |
| connector.bucket.num-files | num-files | 1 |
Y | 输出bucket中文件的数量 | ||
| connector.bucket.check-interval | check-interval | 默认10000 |
Y | 输出bucket检查间隔，单位：毫秒 | ||
| connector.bucket.datetime-pattern | datetime-pattern | yyyy-MM-dd--HH, 参考DateTimeFormatter |
Y | 按时间的分桶策略时，分桶格式 | ||
| connector.bucket.commit.delay | commit.delay | 10000 |
Y | 提交success文件的延时时间，单位：毫秒。需要和connector.bucket.commit.success-file.name一起使用 |
||
| connector.bucket.commit.success-file.name | commit.success-file.name | 默认_SUCCESS |
Y | success文件名称，需要和connector.bucket.commit.delay一起使用 |
||
| connector.bucket.rolling-policy.file-size | rolling-policy.file-size | 默认134217728 |
Y | 分割文件的最大大小 | ||
| connector.bucket.rolling-policy.rollover-interval | rolling-policy.rollover-interval | 默认1800000 |
Y | 定期分割文件的时间间隔 | ||
| connector.bucket.rolling-policy.inactivity-interval | rolling-policy.inactivity-interval | 默认1800000 |
Y | 分割滚动文件的空闲时间间隔，例如空闲30分钟即滚动写入新文件 | ||
| connector.bucket.bucket-policy.by-field | bucket-policy.by-field | a |
Y | 按字段的分桶策略时，指定字段名称 | ||
| connector.bucket.bucket-policy.ignore-error | bucket-policy.ignore-error | true |
Y | 按字段的分桶策略时,对分桶字段数据进行容错 |
