Overview 支持的 Connectors 服务类型 SPARK FLINK Source Sink Source Sink KAFKA Y Y Y Y BOS Y Y Y Y MQTT Y Y Y RDS Y Y Y Y ES Y Y PALO Y Y Y TSDB Y Y 如何使用 Connector SQL CREATE TABLE source_kafka_table ( ` fiel
RDS RDS DDL FLINK / SPARK CREATE TABLE rds_table ( ` field01 ` STRING , ` field02 ` BIGINT , ` field03 ` FLOAT , ` field04 ` BINARY , ` field05 ` INT , ` field06 ` TINYINT , ` field07 ` BOOLEAN , ` fi
BOS BOS DDL FLINK / SPARK CREATE TABLE bos_table ( ` field01 ` STRING , ` field02 ` BIGINT , ` field03 ` FLOAT , ` field04 ` BINARY , ` field05 ` INT , ` field06 ` TINYINT , ` field07 ` BOOLEAN , ` fi
Formats BSC 目前支持三种 format:JSON、CSV、TXT 支持的数据源 编码类型 Source Sink CSV KAFKA、BOS、MQTT KAFKA、BOS、MQTT JSON KAFKA、BOS、MQTT KAFKA、BOS、MQTT TXT PALO Format 相关参数 公共参数 名称 简称 用例 SPARK FLINK 说明 format.encode enco
KAFKA KAFKA DDL FLINK SPARK CREATE TABLE kafka_table ( ` field01 ` STRING , ` field02 ` BIGINT , ` field03 ` FLOAT , ` field04 ` BINARY , ` field05 ` INT , ` field06 ` TINYINT , ` field07 ` BOOLEAN ,
ES ES DDL FLINK / SPARK CREATE TABLE sink_es_table ( ` field01 ` STRING , ` field02 ` BIGINT , ` field03 ` FLOAT , ` field04 ` BINARY , ` field05 ` INT , ` field06 ` TINYINT , ` field07 ` BOOLEAN , `
用户无需创建集群,并且不用关注底层基础设施细节与繁重的日常运维工作,只需专注于流式作业的创建和运维。 简单易用 无需编程,通过SQL语句实现复杂业务逻辑,降低使用门槛;提供具有多种辅助功能的SQL在线编辑器,让作业开发变得更加方便易用。 按需付费 用户不需要预先付费,根据作业运行过程中使用资源量以及运行时长进行付费,收费方式灵活,性价比较高。
append / retract / upsert Y Y SQL作业输出模式 job.process.mode cp / ss Y SPARK微批处理模式 job.trigger.intervalMs 60000 Y SPARK微批执行每批次的触发间隔 job.aggregate.state true / false , 默认 true Y spark append mode 下是否允许进行无状态流式聚合
一般问题 流计算作业中的代码包括几部分? 流计算作业中的代码包括DDL语句(用于创建输入端、输出端)、DML语句(业务逻辑的执行语句)。目前,同一个作业内支持多个输入端、一个输出端。 流计算DDL语句中的数据从哪里来,处理后存储到哪里? 流计算产品没有数据存储的功能,流计算处理的数据主要来源于百度智能云平台提供的存储系统中的数据。
滑动窗口通常会用来统计计算移动平均数。例如,基于过去30分钟的路况信息,预测未来的拥堵情况,每 5 分钟更新一次。可以设置一个 size = 30 min, slide = 5 min 的滑动窗口。