选择可用区后,填写网络配置和实例组配置。 网络配置 表三 网络配置说明 配置项名称 配置项说明 内网DNS解析 内网DNS为百度云提供的独立的网络产品,可以实现域名(主机名)与ip之间的自动解析。对于不同集群间,BMR集群与BCC间,需要通过域名(主机名)进行互相访问,数据传输时,可以使用该功能。详情请查看 智能云解析DNS 。
流量带宽类数据 概述 流量带宽类数据包括按照产品资源类型、域名实时查询整体、分地区运营商、分通信协议等维度的流量带宽详情数据。 计算方法 下行流量:对当前分钟内发送的字节数进行累加,若请求时间超过 1 分钟,则每分钟输出一次当前分钟所发送的字节数,进制换算为 1000。 下行带宽:总带宽为 CDN 的出口带宽,回源带宽为由 CDN 回源导致的源站带宽。
Hadoop Manger是BMR产品为用户提供的细粒度hadoop管理平台,提供集群监控、服务管理、hadoop多租户管理功能 2018-11 新增支持 集群安全模式 ,提供备用节点,提供集群的高可用性 支持 多用户访问控制 。用户访问控制实现了企业或组织内部不同人员乃至不同部门协同地管理和使用BMR资源的功能。在BMR中,我们将集群和定时任务视为资源。
适用范围 诊断或调优Hadoop MR作业,Hadoop Streaming作业,Spark作业。后续会增加Hive、Pig、HBase的诊断或调优。 查看失败作业的诊断信息 在集群作业页面,点击已失败作业的作业名称可查看该作业详情。 在作业详情页面,点击“诊断”,进入诊断页面。 如上图所示,诊断的内容包含了用户的配置或者程序出错的信息,以及给出的建议。
服务管理 用户可在服务管理页面查看当前集群已安装服务运行状态(支持按照全部状态、运行中和已停止筛选)、WEB UI链接,支持对服务进行启动、停止、重启操作。 1.点击具体服务名称,进入服务详情可查看具体组件列表、部署拓扑、配置管理和配置历史。 表一 详细信息说明 详情信息名称 说明 组件 展示当前服务的所有组件主机数量、停止数运行数,用户可以对任一组件进行启动、停止、重启等操作。 部署拓扑 1.支
quot;) .withMainClass("org.apache.hadoop.examples.WordCount") .withArguments("bos://bmr/samples/mapreduce/wordcount/hamlet.txt bos://tester01/out")) ); // 获取新创建集群的集群ID。
例如hadoop中的-libjars参数只支持本地文件,通过添加附加文件参数就可以让-libjars使用BOS上的文件,您只需将文件上传至BOS,Hadoop作业即可读取到文件。 需要注意的是,在应用程序参数中使用的文件名需要和本地文件路径设置的文件名保持一致。
Ranger Ranger简介 Apache Ranger 提供集中式的权限管理框架,可以对Hadoop生态中的HDFS/Hive/YARN 等组件提供细粒度的权限访问控制,并且提供了Web UI页面方便管理员进行操作。
HBase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,能够利用HDFS的分布式处理模式和Hadoop的MapReduce程序模型。HBase融合key/value存储模式带来实时查询的能力,以及通过MapReduce进行离线处理或者批处理的能力。总的来说,HBase能够让您在大量的数据中查询记录,也可获得综合分析报告。
售卖套餐请参考 https://cloud.baidu.com/doc/BMR/s/6jwvxw85z 请求参数 名称 类型 是否必须 参数位置 参数描述 version String 是 URL参数 API版本号,当前取值1 imageType String 是 RequestBody参数 集群类型,比如 hadoop,参考 BMR集群 imageVersion String 是 RequestBody