可灵活配置日志任务,轻量级架构不影响主机性能。 收集到的日志存储于对象存储 BOS中,BOS是百度智能云提供的海量数据存储服务,并且在BMR和BOS之间的数据传输不会产生任何费用,降低用户使用成本。BOS主要提供了以下特性: 稳定、安全、低成本的存储,提供完善的开发、管理工具。 支持丰富的数据类型存储,存储对象数量不受限制。
008-组件资源配置 在画布中,拖拽组件后,需为组件配置对应的资源。 Spark运行参数 Spark任务中包含Driver和Executor,关系为一对多,您需要分别对Driver和Executor进行资源配置。
发布成功后,作业会出现在 作业运维 页面下的作业列表。 启动作业 选择 百度流式计算BSC > 作业管理 > 作业运维 ,进入到作业运维页面。 在作业列表处选择刚刚创建的作业。 选中作业后,点击右侧工具栏 启动 按钮,弹出作业资源配置界面。用户可根据实际需要对 作业起始时间、网络类型、安全组、CU数目及规格进行配置。 完成配置后,点击 启动 按钮启动作业。
登录 百度智能云控制台 ,选择 产品服务 > 智能大数据 > 流式计算BSC 界面左侧选择 作业管理 > 作业开发 进入作业开发列表页面 点击 +新建作业 按钮 在 新建作业 页面,输入作业配置信息 作业名称 - 作业名称在当前区域中需保持唯一 作业类型 FLINK_STREAM/SQL作业类型 SPARK_STREAM/SQL作业类型 FLINK_STREAM/JAR作业类型 SPARK_STREAM
作业详情 进入到 作业运维 页面后,点击作业名称,可查看该作业详细信息。 作业详情包括用户最新发布的 作业代码 及 作业属性 。 作业属性:查看作业的基本信息和作业配置信息。 作业代码:为用户提供查看全部代码,如需编辑作业,可返回 作业开发 页面。 实时监控 实时监控提供作业运行状况的指标,根据不同的作业类型会有不同的监控项,用户可选择展示数据的时间区间。
点击工具栏中的 作业版本 ,弹出已保存的作业版本列表。 选择一个版本,点击 更多 > 对比 ,进入到版本对比页面,可将当前版本与所选版本进行代码及配置的对比。 点击 更多 > 回滚,可以将该版本的作业代码进行回滚,替换掉当前版本的代码。 编辑区域 智能提示 编辑器对数据类型、关键字、数据资源类型等内容进行智能提示,选择提示中的某个内容,点击回车键自动补全提示内容。
在作业开发页面对相应作业的资源引用执行 解绑-引用 操作。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。 如果仅仅是需要修改作业参数,可以简化步骤为: 停止运行中的作业。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。
在作业开发页面对相应作业的资源引用执行 解绑-引用 操作。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。 如果仅仅是需要修改作业参数,可以简化步骤为: 停止运行中的作业。 在作业开发页面修改作业参数,对作业执行 保存-发布 操作。 重启启动作业。
作业相关接口 新建作业 描述 本接口用于创建一个BSC作业。 请求 请求结构 POST /api/v{version}/seniorbsc/job/create HTTP/1.1 { CreateJobRequest } 请求头域 除公共头域外,无其它特殊头域。
表四 配置说明 作业配置名称 配置说明 基本信息 单击右侧配置信息-基本信息,可展开查看可视化作业的基本信息,包括作业名称、责任人、作业类型和描述。支持对描述进行修改 参数设置 单击参数设置,填写弹窗内参数内配置项。