定时任务 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 简介 通过定时任务您可定时启动集群运行作业。需预先规划时间策略,并依据时间策略存储输入数据,再创建定时任务,并可对已创建的定时任务修改时间策略。 规划准备 请预先规划时间策略,即自动启动集群运行作业的时间。本文以自2015年12月11日19点55分至
ranger概述 Apache Ranger 提供集中式的权限管理框架,可以对Hadoop生态中的HDFS/HIVE/YARN 等组件提供细粒度的权限访问控制,并且提供了Web UI页面方便管理员进行操作。 Ranger简介 Apache Ranger 是一个为大数据平台提供集中化安全管理的开源框架,专门用于确保 Hadoop 生态系统中的数据安全。以下是 Ranger 的主要组件及其作用。 Ra
续费说明 续费方式 MapReduce目前支持自动续费和手动续费。使用预付费方式购买的包年包月集群,在集群状态为“运行中”或“已停服”时可续费。 表一 续费说明 续费类型 续费说明 自动续费 在 产品服务>MapReduce>集群列表 页,单击 自动续费 按钮进入续费管理。 手动续费 1.在 产品服务>MapReduce>集群列表 页,单击需续费集群对应的 续费 按钮,进入该集群的续费页。 2.选
Hive示例 前提条件 已完成创建 BMR 集群,并且配置了 Paimon、Hive 组件,详情请参见 创建集群 。 注意事项 由于 Paimon 已经放到 ${HIVE_HOME}/auxlib 目录,所以不需要使用 add jar 就可以直接操作 spark 创建的 paimon 表。 Hive 不能使用 TEZ 引擎插入数据,并且需要关闭 cbo。参考以下命令: set hive.execu
客户端登录 操作步骤 远程登录到创建好的集群 ssh root@$public_ip 登录ClickHouse客户端 su - clickhouse clickhouse-client -m -u admin --password 集群密码 表一 clickhouse-client常用参数 参数 描述 -h 主机名 -d 数据库名 -m 客户端支持多行SQL输入以分号结尾,不指定该参数默认以回车作
Instance(实例) 查询实例列表 如下代码可查询指定集群和实例组的实例: public void listInstances(BmrClient client, String clusterId, String instanceGroupId) { try { ListInstancesResponse response = client.listInstances(clusterId, i
导出数据 Sqoop导出数据 在使用BMR对数据进行分析之后,分析的结果数据被保存在BOS的指定目录下,用户可以进入BOS中将结果数据导出,具体操作请参考 BOS下载Object 。 您可通过Sqoop把BOS或HDFS的数据导出至关系型数据库RDS中。具体操作如下: 从BOS中导出数据至RDS关系型数据库 在关系型数据库RDS中创建相应的数据表,请注意数据表字段类型与导出数据需要一致,否则在导出
Step(作业) 概述 作业是和集群相关联的资源,对作业的操作需要指定相关集群的ID。 添加steps BMR支持多种类型的作业,不同类型的作业有不同的配置项。如下代码可向指定的hadoop类型的集群添加Custom Jar、Streaming、Hive、Pig作业。 添加作业可以通过配置AddStepsRequest对象的clientToken属性来保证创建请求的幂等性。clientToken是
查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。点击下拉尖括号,查看各ta
集群模板 操作步骤 在 产品服务-MapReduce-集群模板 页中,点击 创建模板 ,进入创建模板页。 完成“选择集群配置”、“实例组配置”,具体操作请参考创建自定义集群的步骤。 点击 完成 ,模板创建成功。可在集群模板页查看已创建的模板。 在集群模板界面选择已创建的模版,在操作列选择 创建集群 。 保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集