作业开发: 简单友好的作业开发方式与丰富全面的作业日志及诊断调优建议,并支持多种类型的作业形式,全方位加速用户作业开发环节。允许用户创建临时集群运行定时作业,用完即释放,达到资源成本与业务需求的最优解。 监控报警: 提供界面化、简单易用的监控运维工具,支持集群、主机、服务等多种维度的实时监控。提供丰富全面可定义的监控策略,保障业务安全稳定运行。
创建集群 登录百度云控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页。BMR2.0.0及以上版本已支持 Impala 组件集成,购置集群时勾选 Impala 组件即可, 如下图所示: 使用简介 远程登录到创建好的集群 Plain Text 复制 1 ssh root@$public_ip 2 使用创建集群时输入的密码 准备数据,可以参考 数据准备 。
Please double confirm your stepId or the existence of the step. 404 所访问的作业不存在,请重新确认指定的作业ID是否正确或指定的作业是否存在。
权限又被分为粗粒度和细粒度两种,粗粒度权限是指不限定具体的资源的权限,一个粗粒度权限可对应多个细粒度权限;而细粒度权限需要选定某一个或多个资源。被赋予某种策略的子用户将会具有相应资源的相应访问权限。
性能类问题 BMR是否可估算处理作业的运行时间? BMR能运行一个超级大的作业吗? 每个账户可以同时运行多少个集群? 集群在不停止服务的情况下是否支持规模扩展? 安全性问题 用户的数据安全性如何? 在集群运行过程中,用户的数据保密性如何?
计费方式 计费方式 MapReduce支持包年包月和按需付费两种计费方式。 计费方式 描述 包年包月 也是预付费模式,预付费模式指的是在购买集群资源时即需支付全部费用,它更适合有长期需求的用户。相较于按使用量付费,预付费的价格更为优惠,并且用户购买的时长越长,所能享受到的折扣力度也越大。 按需付费 按量付费的集群模式会根据其实际的使用情况即时生成费用账单,这意味着一旦费用产生,就不会进行退款处理。
配置已有集群 配置已有集群 对于已创建的集群,用户可以在产品服务中的 MapReduce- BMR on CCE-集群列表 页面查看所有集群的状态和详情。并对集群做一些具体操作,下面是关于所有操作的具体描述。 集群详情 1.登录MapReduce控制台,在 BMR on CCE-集群列表 中选择对应的 集群 ID/名称 点击进入集群详情页。
批处理与数据仓库计算 用户可利用 Spark、Kyuubi 等组件进行大规模离线批处理作业,如日志分析、报表生成、数据清洗与整合等。BMR on CCE 的容器化集群支持高效作业调度和统一管理,用户可实时查看作业日志、性能指标和诊断信息,从而优化作业性能和资源利用率,同时大幅降低运维成本,提升离线数据处理效率。
点击删除按钮,可以删除所选的BMR账号 安全模式开启时可以点击 下载keytab ,下载该账号对应的keytab,用作集群中提交作业时使用。
性能类问题 BMR是否可估算处理作业的运行时间? 处理作业的运行时间依赖若干种因素,包括作业的规模和复杂度、设置实例的数目以及套餐类型等多种情况,因此BMR没有提供估算作业运行时间的服务。 BMR能运行一个超级大的作业吗? BMR对处理作业的大小没有任何限制。若作业大于5G,BOS 提供了MultiUpload通道上传文件。但需要注意,每个集群中的作业数量不能超过256个。