获取访问凭证 根据步骤一获取的API Key、Secret Key,获取access_token。参考以下获取access_token,更多详情方法请参考 获取access_token 。 注意:access_token默认有效期30天,生产环境注意及时刷新。
经过清洗、处理的数据存储于数据库等存储系统,即可便捷地接入报表系统进行分析展示。此外还有任务调度系统对整个数据平台的任务进行监控管理。 客户收益 作业帮借助百度智能云的天算平台,以较低的成本获得了海量数据ETL、数据统计分析、便捷查询等功能,以及稳定、安全、高效和高扩展的存储服务,同时也大大降低了大数据平台的运维成本
在作业开发页面对相应作业的资源引用执行 解绑-引用 操作。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。 如果仅仅是需要修改作业参数,可以简化步骤为: 停止运行中的作业。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。
作业运维 概述 作业运维 主要为用户提供作业启停操作、作业详情、实时监控、运行日志等内容。 作业启停 作业发布后,用户可以在 作业运维 页面查看到已发布的作业列表,用户可以根据需要启动、停止作业。 点击 启动 按钮后,弹出 启动作业窗口,用户可根据场景需求设置网络类型、安全组、CU数量及CU规格。
编辑作业 编辑作业 选择菜单栏 作业管理 > 作业开发 后,所有当前已创建的作业会以列表的形式展现,编辑作业可通过: 点击所需编辑作业右侧 操作 > 编辑 点击 作业名 进行 编辑作业 操作。 开发作业 作业开发 提供一套完整的在线编辑器,主要包括编辑区域、工具栏、版本管理、高级设置。
runNodes List<String> Body 否 需要重跑的节点列表,其他节点状态与上次执行保持一致,作业组类型实例有效 响应参数 名称 类型 描述 execId String 作业执行实例 ID rerunId Integer 作业重跑批次ID 错误码 Code message HTTP状态码 描述 AccessDenied No permission to operate project
发布成功后,作业会出现在 作业运维 页面下的作业列表。 启动作业 选择 百度流式计算BSC > 作业管理 > 作业运维 ,进入到作业运维页面。 在作业列表处选择刚刚创建的作业。 选中作业后,点击右侧工具栏 启动 按钮,弹出作业资源配置界面。用户可根据实际需要对 作业起始时间、网络类型、安全组、CU数目及规格进行配置。 完成配置后,点击 启动 按钮启动作业。
登录 百度智能云控制台 ,选择 产品服务 > 智能大数据 > 流式计算BSC 界面左侧选择 作业管理 > 作业开发 进入作业开发列表页面 点击 +新建作业 按钮 在 新建作业 页面,输入作业配置信息 作业名称 - 作业名称在当前区域中需保持唯一 作业类型 FLINK_STREAM/SQL作业类型 SPARK_STREAM/SQL作业类型 FLINK_STREAM/JAR作业类型 SPARK_STREAM
作业相关接口 新建作业 描述 本接口用于创建一个BSC作业。 请求 请求结构 POST /api/v{version}/seniorbsc/job/create HTTP/1.1 { CreateJobRequest } 请求头域 除公共头域外,无其它特殊头域。
实时作业支持目标端。用户可以将实时作业,处理加工的数据流接入到目标端。目标端可以是另一个kafka消息队列,也可以是Hive等数据库。 可视化作业配置 可视化作业配置位于整个页面右侧,单击不同的配置可查看具体配置详情。 表二 可视化作业配置项说明 可视化作业配置名称 配置说明 基本信息 单击右侧配置信息-基本信息,可展开查看可视化作业的基本信息,包括作业名称、责任人、作业类型和描述。