选择 产品服务>MapReduce BMR ,进入BMR服务。 使用BMR需要通过实名认证,每个账户只需认证一次。点击“立即去认证”,进入“实名认证”页面。 选择“企业认证”或者“个人认证”。 运用BMR的各组件做数据处理后,结果将输出到对象存储BOS服务器上,因此认证通过后需开通对象存储BOS服务并创建Bucket,并且要求您必须对该地址有写的权限,从而为输出结果提供存储路径。
性能类问题 BMR是否可估算处理作业的运行时间? 处理作业的运行时间依赖若干种因素,包括作业的规模和复杂度、设置实例的数目以及套餐类型等多种情况,因此BMR没有提供估算作业运行时间的服务。 BMR能运行一个超级大的作业吗? BMR对处理作业的大小没有任何限制。若作业大于5G,BOS 提供了MultiUpload通道上传文件。但需要注意,每个集群中的作业数量不能超过256个。
操作指南 BMR作业操作演示 演示BMR如何在控制台编辑作业。 BMR集群操作演示 演示BMR如何在控制台编辑集群。
集群巡检任务 每个集群只允许存在一个巡检任务,定时巡检执行时,不允许发起即时巡检。 即时巡检 登录MapReduce控制台,在集群列表中选择对应的集群 ID/名称点击进入集群详情页。 在左侧导航选择监控详情>集群巡检,进入集群巡检界面。 单击集群巡检中开始巡检按钮,设置巡检时间范围和巡检项目后确定,系统依据巡检时间范围对巡检项目进行检查,并生成巡检报告。
高稳定性:容器编排与自愈机制确保关键组件和作业在异常情况下自动恢复,保障集群长期稳定运行。 高性能:利用云原生架构和统一调度引擎,实现作业的高效分发与并行计算,显著提升大数据处理性能。
操作步骤 1.进入产品服务 MapReduce- BMR on CCE-集群列表 页选择对应的 集群 ID/名称 点击进入集群详情页,点击左侧“节点管理”即可进入节点管理功能页。 2.查看节点的详情,对于节点的实例详情以列表形式展示。展示信息包括申请节点数量和运行数量。
点击 添加策略 按钮,进入创建报警策略页面,填写表单信息完成指标监控策略创建,填写产品类型时需要选择 MapReduce BMR 。 事件监控 登录百度智能云,选 择云监控BCM ,在左侧导航栏中点击报警管理—报警策略—云产品事件,进入报警策略列表页面。 点击添加策略按钮,进入“创建报警策略”页面,填写相应的表单信息完成事件监控策略创建。填写产品类型时需要选择 MapReduce BMR 。
故障类问题 作业运行失败怎么办? 可以在集群的作业列表中,找到运行失败作业的日志,分别为syslog、stderr、stdout三个日志。其中Syslog日志记录了作业运行的信息,stderr记录了作业运行失败的原因,stdout记录了作业运行的过程中输出的信息。通过查看stderr日志,找到作业运行失败的原因并进行修复,再次运行作业。 作业为什么会运行失败?
开启应用洞察需要在创建集群时勾选Spark服务并单独开启应用洞察开关,同时指定一个BOS路径用于存储洞察结果。 常见使用场景如下: 应用性能诊断 :识别数据倾斜、慢Task、排序异常等性能瓶颈,定位执行缓慢的应用。 资源利用优化 :识别Executor CPU浪费、内存浪费、推测执行Task过多等资源浪费问题,指导资源配置优化。
例如,管理员首先在 BMR 集群各节点中创建 UNIX 用户 allen: Plain Text 复制 1 $ useradd allen 3.管理员新增一个名为 allen/_HOST@BAIDU.COM 的 principal,如下所示: 4.登录 allen 账户(allen 为 UNIX 账户,如果有向集群YARN队列资源提交作业的需求,在启动安全模式下,还需要保障集群中各个节点已存在该账户