实例组操作接口 查询实例组列表、修改实例组配置 实例操作接口 查询实例列表 作业操作接口 添加作业、查询作业列表、查询作业信息 产品限制 系统限制 活跃集群总数的限制 同时活跃的集群总数不得超过5个。 单集群作业总数的限制 单一集群中提交的作业总数不得超过256个。
登录控制台( 百度智能云登录平台 ),选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,并做如下配置: 设置集群名称 设置管理员密码 关闭日志开关(如果打开,需要选择存放日志用的bos目录,bos目录的bucket必须已经存在 选择镜像版本“BMR 2.0(hadoop 3.1)“ (只有BMR2.0 及以上版本的zeppelin方可用) 选择内置模板“zeppelin
集群模板 操作步骤 在 产品服务-MapReduce-集群模板 页中,点击 创建模板 ,进入创建模板页。 完成“选择集群配置”、“实例组配置”,具体操作请参考创建自定义集群的步骤。 点击 完成 ,模板创建成功。可在集群模板页查看已创建的模板。 在集群模板界面选择已创建的模版,在操作列选择 创建集群 。
登录控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,并做如下配置: 设置集群名称 设置管理员密码 选择镜像版本“BMR 2.2.0(hadoop 3.1)” 选择内置模板“hadoop”。 选择组件时勾选alluxio、spark、hive、hbase等组件。
保持默认配置即创建本地仓库master,点击“下一步”。 3). 保持默认配置,点击“完成”即可。 4). 系统启动代码克隆,完成后请在弹出的对话框中选择“打开项目”,即可在左侧项目栏中查看已导入的项目。 编译Maven项目输出jar文件。 1). 打开mapreduce模块。选择左侧项目栏中的“bmr>模块>mapreduce”,右键选择“打开项目”,即可打开Maven项目mapreduce。
创建作业的操作步骤如下: 在“产品服务>MapReduce>MapReduce-作业列表”页中,点击“创建作业”,进入创建作业页。 请在创建作业页选择作业类型并配置作业类型对应的参数。以下列举了Hive作业类型对应参数配置说明: Hive作业: 作业名称:输入作业名称,长度不可超过255个字符。 bos脚本地址:BOS的脚本地址必须是一个有效的BOS路径,并且指向Hive脚本。
创建集群 登录百度云控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,BMR2.0.0及以上版本已支持 Presto 组件集成,购置集群时勾选 Presto 组件即可, 如下图所示: 使用简介 Presto支持本地和远程两种操作方式。
libs/hadoop-mapreduce-examples.jar") .withMainClass("org.apache.hadoop.examples.WordCount") .withArguments("bos://bmr/samples/mapreduce/wordcount/hamlet.txt bos://tester01/out"
用户可灵活配置EIP实例的计费模式,包括按需按带宽付费、按需按流量付费和包年包月按带宽付费三种。 用户可将EIP实例与任意BCC或BLB实例绑定或解绑,匹配用户的不同业务场景。详见: 弹性公网 EIP BMR在创建完集群后,用户在与集群外部进行数据交互或传输时或者进行大数据组件的WEB UI访问时,需要拥有公网IP支持访问和数据传输,此时需要使用EIP。
适用于以下场景: 业务规模具有时间周期规律,存在明显的波峰与波谷,例如特定时间的日报表、周报表等处理分析场景 业务变化不具有时间规律,但需要保证重要作业的及时运行,需要根据集群负载指标动态调整集群规模 配置节点套餐 选择 产品服务>数据分析>MapReduce>集群 进入集群列表页面。 点击所选集群后方操作列中的 弹性伸缩 按钮,进入管理弹性伸缩页面。