产品优势 与自建Hadoop集群相比,MapReduce有以下优势: 易用:界面点选的操作方式,多种大数据开源组件自由组合,分钟级完成集群创建操作。 模板丰富:BMR支持多种集群模板,Hadoop、HBase、Hive、ClickHouse,支持多种应用场景。 弹性:创建任意大小的集群并动态调整集群规模,高峰期加大集群规模以提高计算能力,低峰期可对应缩减集群规模降低花费。 便捷管理:独创的Hado
产品介绍 BMR产品介绍 介绍BMR的优势及产品特性。
数据准备 以准备Web日志数据为例,您可以直接使用百度智能云提供的样例数据,也可根据说明构造自己的输入数据: 使用百度智能云提供的样例数据,路径如下: 存储在“华北-北京”区域的样例数据路径为:bos://datamart-bj/web-log-10k/,仅华北区域的BMR集群可用。 存储在“华南-广州”区域的样例数据路径为:bos://datamart-gz/web-log-10k/,仅华南区域
Instance(实例) 查询实例列表 如下代码可查询指定集群和实例组的实例: public void listInstances(BmrClient client, String clusterId, String instanceGroupId) { try { ListInstancesResponse response = client.listInstances(clusterId, i
集群指标 集群仪表盘 表一 集群仪表盘指标说明 指标英文名称(metric name) 指标中文名称 单位 维度 cluster_YARNResource_precent YARN计算资源使用率 % ClusterId cluster_YARNVCoreResource YARN计算资源(VCore) 个 ClusterId cluster_YARNMemoryResource YARN计算资源(
BmrClient 配置BmrClient BmrClient是BMR服务的Python客户端,为调用者与BMR服务进行交互提供一系列的方法。 在新建BmrClient之前,需要先创建配置文件对BmrClient进行配置,以下将此配置文件命名为 bmr_client_conf.py ,具体配置信息如下所示: #!/usr/bin/env python #coding=utf-8 #导入Python
诊断、调优 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 目的 诊断运行失败的作业,在日志中定位失败的原因,精确定位到您的程序中错误的位置。 调优运行成功的作业,基于经验评价作业的配置和参数的合理性,给予您调优的建议。 适用范围 诊断或调优Hadoop MR作业,Hadoop Streaming作业,Sp
错误码 错误码格式 当用户访问API出现错误时,会返回给用户相应的错误码和错误信息,便于定位问题,并做出适当的处理。请求发生错误时通过Response Body返回详细错误信息,遵循如下格式: 参数名 类型 说明 code String 表示具体错误类型。 message String 有关该错误的详细说明。 requestId String 导致该错误的requestId。 例如: { &quo
ClickHouse ClickHouse简介 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯搜索引擎公司Yandex开发,并于2016年6月发布的开源DBMS,与Hadoop,Spark相比,ClickHouse轻量很多。 创建集群 登录百度智能云控制台,选择“产品服务->百度MapReduce BMR”,点击“创建集群”,进入集群创建页。购置集
集群模板 操作步骤 在 产品服务-MapReduce-集群模板 页中,点击 创建模板 ,进入创建模板页。 完成“选择集群配置”、“实例组配置”,具体操作请参考创建自定义集群的步骤。 点击 完成 ,模板创建成功。可在集群模板页查看已创建的模板。 在集群模板界面选择已创建的模版,在操作列选择 创建集群 。 保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集