导出数据 - MapReduce BMR_全托管Hadoop/Spark集群
导出数据 Sqoop导出数据 在使用BMR对数据进行分析之后，分析的结果数据被保存在BOS的指定目录下，用户可以进入BOS中将结果数据导出，具体操作请参考 BOS下载Object 。 您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。具体操作如下： 从BOS中导出数据至RDS关系型数据库 在关系型数据库RDS中创建相应的数据表，请注意数据表字段类型与导出数据需要一致，否则在导出
Step（作业） - MapReduce BMR_全托管Hadoop/Spark集群
Step（作业） 概述 作业是和集群相关联的资源，对作业的操作需要指定相关集群的ID。 添加steps BMR支持多种类型的作业，不同类型的作业有不同的配置项。如下代码可向指定的hadoop类型的集群添加Custom Jar、Streaming、Hive、Pig作业。 添加作业可以通过配置AddStepsRequest对象的clientToken属性来保证创建请求的幂等性。clientToken是
BmrClient - MapReduce BMR_全托管Hadoop/Spark集群
BmrClient 配置BmrClient BmrClient是BMR服务的Python客户端，为调用者与BMR服务进行交互提供一系列的方法。 在新建BmrClient之前，需要先创建配置文件对BmrClient进行配置，以下将此配置文件命名为 bmr_client_conf.py ，具体配置信息如下所示： #!/usr/bin/env python #coding=utf-8 #导入Python
导入数据 - MapReduce BMR_全托管Hadoop/Spark集群
导入数据 Sqoop导入数据 在使用BMR添加作业之前，用户需要将被分析的数据上传到BOS中，具体操作请参考 BOS上传Object 。 您可通过Sqoop把关系型数据库RDS中的数据导入到BOS、HDFS、HBase或Hive中。具体操作如下： 从RDS关系型数据库导入数据至BOS中 通过SSH连接到主节点，请参考 SSH连接到集群 。 输入命令：su hdfs。切换到HDFS用户。 执行以下格
创建作业 - MapReduce BMR_全托管Hadoop/Spark集群
创建作业 注：自2024年6月30日起，MapReduce暂不提供作业相关功能支持，可通过第三方平台EasyDAP或开源组件Airflow提交任务。 使用hadoop镜像的集群可添加的作业类型是：java，streaming。使用spark镜像的集群可添加作业类型：spark，java，streaming。集群中添加了应用后便可添加该应用的作业，即创建集群时添加了hive应用，则可创建hive作业
Instance（实例） - MapReduce BMR_全托管Hadoop/Spark集群
Instance（实例） 查询实例列表 如下代码可查询指定集群和实例组的实例： try : response = bmr_client . list_instances ( cluster_id , instance_group_id ) for instance in response . instances : LOG . debug ( 'list instances %s: %s' % (
定时任务 - MapReduce BMR_全托管Hadoop/Spark集群
定时任务 注：自2024年6月30日起，MapReduce暂不提供作业相关功能支持，可通过第三方平台EasyDAP或开源组件Airflow提交任务。 简介 通过定时任务您可定时启动集群运行作业。需预先规划时间策略，并依据时间策略存储输入数据，再创建定时任务，并可对已创建的定时任务修改时间策略。 规划准备 请预先规划时间策略，即自动启动集群运行作业的时间。本文以自2015年12月11日19点55分至
Instance（实例） - MapReduce BMR_全托管Hadoop/Spark集群
Instance（实例） 查询实例列表 如下代码可查询指定集群和实例组的实例： public void listInstances(BmrClient client, String clusterId, String instanceGroupId) { try { ListInstancesResponse response = client.listInstances(clusterId, i
查看作业 - MapReduce BMR_全托管Hadoop/Spark集群
查看作业 注：自2024年6月30日起，MapReduce暂不提供作业相关功能支持，可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中，点击作业名称，可查看作业基本信息。 Hadoop将job分成若干个task进行处理，共有两种类型的task，分别为map task和reduce task。点击下拉尖括号，查看各ta
集群指标 - MapReduce BMR_全托管Hadoop/Spark集群
集群指标 集群仪表盘 表一 集群仪表盘指标说明 指标英文名称（metric name) 指标中文名称 单位 维度 cluster_YARNResource_precent YARN计算资源使用率 % ClusterId cluster_YARNVCoreResource YARN计算资源(VCore) 个 ClusterId cluster_YARNMemoryResource YARN计算资源(
