规模调整结束后点击确认变更,付费方式不同确认界面也不相同: 后付费方式购买的集群:已完成集群规模变更 预付费方式购买的集群:进入确认订单页,确认订单价格和是否使用可用代金券后完成支付即可 说明 预付费方式购买的包年包月集群,不允许扩增到期时间小于24小时的集群 串行处理扩容缩容的请求,因此处理完一个扩容缩容的请求后,才接受下一个扩容缩容请求 集群在初始化或者释放中的时候,以及欠费停服务的集群,是不能处理扩容缩容请求的
ranger概述 Apache Ranger 提供集中式的权限管理框架,可以对Hadoop生态中的HDFS/HIVE/YARN 等组件提供细粒度的权限访问控制,并且提供了Web UI页面方便管理员进行操作。 Ranger简介 Apache Ranger 是一个为大数据平台提供集中化安全管理的开源框架,专门用于确保 Hadoop 生态系统中的数据安全。以下是 Ranger 的主要组件及其作用。
HBase是运行在Hadoop上的NoSQL数据库,它是一个分布式的和可扩展的大数据仓库,能够利用HDFS的分布式处理模式和Hadoop的MapReduce程序模型。HBase融合key/value存储模式带来实时查询的能力,以及通过MapReduce进行离线处理或者批处理的能力。总的来说,HBase能够让您在大量的数据中查询记录,也可获得综合分析报告。
Hive迁移 操作步骤 本文档描述如何把 Hive 数据库从一个 Hadoop 集群迁移到另一个 Hadoop 集群。 本文档假定新集群的 Hive 元数据库的内容可以清空。 停止老集群 Hive 集群 的 hive-metastore 和 hive-server2 停止方法:使用命令 systemctl stop hive-metastore 或者通过 ambari 操作。
登录控制台,选择 产品服务->MapReduce-集群列表 ,进入集群列表页,点击 集群名称 进入集群详情页,在“工具下载”区点击下载 openvpn-conf.zip 。
Zeppelin Zeppelin简介 zeppelin 是一个交互式数据分析工具,可支持spark、sql等数据分析工具(详细介绍,请参考 zeppelin 官网 )。 本文将介绍如何在zeppelin上链接配置hiveserver2,来介绍zeppelin上sql的基本使用。 集群准备 准备百度智能云环境。
进入 BMR 集群列表,单击集群名称/ID>>集群详情>>相关应用和工具>>Hadoop Yarn Web UI,进入 Web UI。
像共享文件系统、HDFS、HBase或者任何提供Hadoop InputFormat的数据集,都可用于构建RDD。
集群最大磁盘利用率 % ClusterId cluster_net_in_bitps 集群总网络入速率 KB ClusterId cluster_net_out_bitps 集群总网络出速率 KB ClusterId cluster_HDFSResourceCapacity HDFS存储资源 % ClusterId cluster_mem_used_percent 集群平均内存利用率 % ClusterId
使用hadoop镜像的集群可添加的作业类型是:java,streaming。使用spark镜像的集群可添加作业类型:spark,java,streaming。集群中添加了应用后便可添加该应用的作业,即创建集群时添加了hive应用,则可创建hive作业,添加了pig应用,则可创建pig作业。 BMR将为用户保留一年的作业历史记录,超过此期限的作业历史将被清空,请注意保存和复制相关作业。