作业导出/入 Flink作业支持导入导出,单击 导出 ,将当前作业导出为json文件。 计算资源 点击页面上方计算资源弹出作业资源设置框,对脚本作业进行资源设置。
数据源 导入方式 百度对象存储(BOS)、HDFS、AFS 使用 Broker Load 导入数据 本地文件 导入本地数据 百度消息服务(Kafka) 订阅 Kafka 日志 MySQL、Oracle、PostgreSQL 通过外部表同步数据 通过 JDBC 导入数据 使用JDBC同步数据 导入 JSON 格式数据 JSON 格式数据导入说明 MySQL binlog 敬请期待 数据导入总体说明 PALO
比如例行导入中的,数据源为 kafka 时,会查找 catalog 名为 kafka 下的文件。 md5 :可选。文件的 md5。如果指定,会在下载文件后进行校验。
枚举:gz、su、bd、fwh、hkg、cd dbType String 是 数据库类型 kafka broker String 是 数据类型为kafka时,需要指定Broker列表 10.12.80.28:8092,11.12.82.29:9092 dbUser String 否 用户名 admin dbPass String 否 密码 admin saslMechanisms String 否
方案概述 服务器 → KAFKA → BSC → KAFKA / BOS → 其他 配置步骤 一个完整的 Spark SQL 作业由 source 表、sink 表和 DML 语句构成。
增量迁移支持以行粒度并发复制 — 全部 2024-03-14 新功能 数据传输服务 DTS 源端支持分布式数据库 GaiaDB-X — 苏州 2024-02-27 新功能 数据传输服务 DTS 支持自定义Kafka partition策略 — 全部 2023-11-22 体验优化 数据传输服务 DTS MySQL增量同步支持指定更新触发列 — 全部 2023-11-20 新功能 数据传输服务 DTS
可能是网络设备,也可能是服务器,每个LCN对应相关网络产品的最小部署单元 LCN-N:Network,网络节点 暂无公开规格 暂无公开规格 PaaS服务 包括在LCC及LCC-Native方案使用的PaaS产品,包括如云原生相关的容器引擎CCE、容器镜像CCR;数据库相关的MongoDB、RDS、Redis;大数据相关的PALO、BMR、Kafka等。
Flink Flink简介 Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序,Flink的流水线运行时系统可以执行批处理和流处理程序。此外,Flink的运行时本身也支持迭代算法的执行。
安全组 安全组概述 安全组是在VPC网络内为BCC实例和DCC专属实例、负载均衡实例、云数据库实例中创建的安全防火墙,定义IP+端口的入站和出站访问策略,从而提高云服务器、负载均衡、云数据库等实例的安全性。
Sqoop:用于Hadoop与传统的数据库间的数据导入和导出。 Zeppelin:Web版的notebook,用于数据分析和可视化,可无缝对接Hive、SparkSQL等。 ZooKeeper:提供分布式一致性锁,用于HDFS、YARN高可用,在HBase、Kafka、Druid中保证数据一致性。