资源相关接口 通过本地创建资源 接口描述 本接口用于通过本地上传创建BSC资源,BSC资源包括:Jar作业需要的相关Jar包、kafka证书等。 请求结构 POST /api/v{version}/seniorbsc/resource/create/local HTTP/1.1 Host: bsc.bj.baidubce.com Authorization: authorization strin
请求返回格式 公共错误返回格式 当用户访问API出现错误时,会返回给用户相应的错误码和错误信息,便于定位问题,并做出适当的处理。公共错误返回格式如下: 参数名 类型 说明 code String 表示具体错误类型 message String 有关该错误的详细说明 requestId String 本次请求的requestId 统一为如下格式(后续各接口不再单独列出): { "succe
扩展内置函数 概述 为了给用户提供更简单易用的SQL编辑器,除了提供Spark SQL原生函数外,将一些比较常规常用的函数集成为SQL编辑器的内置函数。 使用扩展内置函数的方式跟原生内置函数的方式一致。 正则转换函数 sysudf_regexp_extract 使用正则表达式,将字符串解析成结构化数据。支持在表达式中设定group name,并将此作为列名。未设置列名的列将根据所在位置设置默认名字
模板相关接口 获取模板列表 接口描述 本接口用于获取模板列表。 请求结构 POST /api/v{version}/seniorbsc/template/list HTTP/1.1 { ListUserTemplateRequest } 请求头域 除公共头域外,无其它特殊头域。 请求参数 参数名称 类型 是否必需 参数位置 描述 version String 是 URL API版本号 ListUs
作业相关接口 新建作业 描述 本接口用于创建一个BSC作业。 请求 请求结构 POST /api/v{version}/seniorbsc/job/create HTTP/1.1 { CreateJobRequest } 请求头域 除公共头域外,无其它特殊头域。 请求参数 参数名称 类型 是否必需 参数位置 描述 version String 是 URL API版本号 CreateJobReque
作业实例相关接口 启动作业实例 接口描述 本接口用于启动作业实例列表中的某一实例。 请求结构 POST /api/v{version}/seniorbsc/instance/start/${insId} HTTP/1.1 Host: bsc.bj.baidubce.com Authorization: authorization string x-Region: bj { "isRest
Flink自定义JAR作业 背景 BSC 产品支持用户提交FLINK自定义jar作业, 以读KAFKA写BOS为例 ,其具体步骤如下: 步骤 1. 开发作业 开发环境 使用IDEA进行开发,项目管理使用maven,相关版本为 名称 版本 java 1.8 scala 2.11 flink 1.11.2 项目结构 整体项目结构如下图所示。由于示例中使用了KAFKA,因此将对应kafka配置文件放在r
Spark自定义JAR作业 背景 BSC 产品支持用户提交SPARK自定义jar作业, 以读KAFKA写BOS为例 ,其具体步骤如下: 步骤 1. 开发作业 开发环境 使用IDEA进行开发,项目管理使用maven,相关版本为 名称 版本 java 1.8 scala 2.11 spark 2.4.6 项目结构 整体项目结构如下图所示。由于示例中KAFKA使用SSL协议,根据代码逻辑将KAFKA提供
物联网设备实时监控预警 概览 监控、预警工厂设备的用电情况。 需求场景 用户拥有大量的大功率设备,如果没有在下班之前及时关闭,会造成用电浪费,甚至引起重大安全事故。每个设备上的传感器定时(5~30秒不等)将设备当前的情况推送到 物联网核心套件 (IoT Core)或 物接入 (IoT Hub) 的 MQTT 当中作为 source,在我们 BSC 中创建 FLINK_STREAM/SQL 类型的作
通过查看作业运行日志,快速定位作业运行出错的原因 增加RDS作为输入端 支持多个表进行join 2018-11 百度流式计算BSC 正式发布。提供低延迟、高吞吐、高准确性的流式数据实时处理能力,完全兼容Spark SQL;通过SQL语句实现复杂业务逻辑数据处理