查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各ta
BmrClient 配置BmrClient BmrClient是BMR服务的Python客户端,为调用者与BMR服务进行交互提供一系列的方法。 在新建BmrClient之前,需要先创建配置文件对BmrClient进行配置,以下将此配置文件命名为 bmr_client_conf.py ,具体配置信息如下所示: #!/usr/bin/env python #coding=utf-8 #导入Python
集群指标 集群仪表盘 表一 集群仪表盘指标说明 指标英文名称(metric name) 指标中文名称 单位 维度 cluster_YARNResource_precent YARN计算资源使用率 % ClusterId cluster_YARNVCoreResource YARN计算资源(VCore) 个 ClusterId cluster_YARNMemoryResource YARN计算资源(
导入数据 Sqoop导入数据 在使用BMR添加作业之前,用户需要将被分析的数据上传到BOS中,具体操作请参考 BOS上传Object 。 您可通过Sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下: 从RDS关系型数据库导入数据至BOS中 通过SSH连接到主节点,请参考 SSH连接到集群 。 输入命令:su hdfs。切换到HDFS用户。 执行以下格
诊断、调优 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 目的 诊断运行失败的作业,在日志中定位失败的原因,精确定位到您的程序中错误的位置。 调优运行成功的作业,基于经验评价作业的配置和参数的合理性,给予您调优的建议。 适用范围 诊断或调优Hadoop MR作业,Hadoop Streaming作业,Sp
Cluster(集群) 新建cluster 如下代码可以新建一个集群,集群包含1个master节点和2个core节点,且安装了Hive、Pig、HBase应用。请注意:参考下面样例代码时,需要修改log_uri参数指定BOS路径为您的账户可用的BOS路径。 instance_groups = [ BmrClient.instance_group( 'Master', 'bm
创建作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业
ClickHouse ClickHouse简介 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。它是由俄罗斯搜索引擎公司Yandex开发,并于2016年6月发布的开源DBMS,与Hadoop,Spark相比,ClickHouse轻量很多。 创建集群 登录百度智能云控制台,选择“产品服务->百度MapReduce BMR”,点击“创建集群”,进入集群创建页。购置集
集群模板 操作步骤 在 产品服务-MapReduce-集群模板 页中,点击 创建模板 ,进入创建模板页。 完成“选择集群配置”、“实例组配置”,具体操作请参考创建自定义集群的步骤。 点击 完成 ,模板创建成功。可在集群模板页查看已创建的模板。 在集群模板界面选择已创建的模版,在操作列选择 创建集群 。 保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集
弹性伸缩 大数据处理及分析场景下,常常需要根据业务情况的变化动态调整集群的task节点数量,这样可以在保证作业顺利完成的同时,降低您的成本。弹性伸缩功能支持按时间规则或者按指标规则进行集群task节点规模的调整。适用于以下场景: 业务规模具有时间周期规律,存在明显的波峰与波谷,例如特定时间的日报表、周报表等处理分析场景 业务变化不具有时间规律,但需要保证重要作业的及时运行,需要根据集群负载指标动态