Instance(实例) 查询实例列表 如下代码可查询指定集群和实例组的实例: try : response = bmr_client . list_instances ( cluster_id , instance_group_id ) for instance in response . instances : LOG . debug ( 'list instances %s: %s' % (
公共头 公共请求头 头域 说明 是否必须 host 服务域名 必须 Authorization 鉴权信息,详细请参考 鉴权认证 必须 x-bce-date 该请求创建的时间,表示日期一律采用YYYY-MM-DD方式,例如2014-06-01表示2014年6月1日。如果用户使用了标准的Date域,该头域可以不填。当两者同时存在时,以x-bce-date为准。 必须 content-type appl
服务域名 区域 服务端点Endpoint 协议 北京 bmr.bj.baidubce.com HTTP and HTTPS 广州 bmr.gz.baidubce.com HTTP and HTTPS 苏州 bmr.su.baidubce.com HTTP and HTTPS 上海 bmr.fsh.baidubce.com HTTP and HTTPS 度小满 bmr.hb-fsg.baidubce
查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各ta
BmrClient 配置BmrClient BmrClient是BMR服务的Python客户端,为调用者与BMR服务进行交互提供一系列的方法。 在新建BmrClient之前,需要先创建配置文件对BmrClient进行配置,以下将此配置文件命名为 bmr_client_conf.py ,具体配置信息如下所示: #!/usr/bin/env python #coding=utf-8 #导入Python
Cluster(集群) 新建cluster 如下代码可以新建一个集群,集群包含1个master节点和2个core节点,且安装了Hive、Pig、HBase应用。请注意:参考下面样例代码时,需要修改log_uri参数指定BOS路径为您的账户可用的BOS路径。 instance_groups = [ BmrClient.instance_group( 'Master', 'bm
集群模板 操作步骤 在 产品服务-MapReduce-集群模板 页中,点击 创建模板 ,进入创建模板页。 完成“选择集群配置”、“实例组配置”,具体操作请参考创建自定义集群的步骤。 点击 完成 ,模板创建成功。可在集群模板页查看已创建的模板。 在集群模板界面选择已创建的模版,在操作列选择 创建集群 。 保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集
Cluster(集群) 新建cluster 如下代码可以新建一个集群,集群包含1个master节点和2个core节点,且安装了Hive、Pig、HBase应用。请注意:参考下面样例代码时,需要修改相关的BOS路径为您的账户可用的BOS路径,包括withLogUri函数参数、HBase应用配置的withBackupLocation函数参数。 新建集群可以通过配置CreateClusterReques
错误码 错误码格式 当用户访问API出现错误时,会返回给用户相应的错误码和错误信息,便于定位问题,并做出适当的处理。请求发生错误时通过Response Body返回详细错误信息,遵循如下格式: 参数名 类型 说明 code String 表示具体错误类型。 message String 有关该错误的详细说明。 requestId String 导致该错误的requestId。 例如: { &quo
诊断、调优 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 目的 诊断运行失败的作业,在日志中定位失败的原因,精确定位到您的程序中错误的位置。 调优运行成功的作业,基于经验评价作业的配置和参数的合理性,给予您调优的建议。 适用范围 诊断或调优Hadoop MR作业,Hadoop Streaming作业,Sp