装的组件信息(如hive,pig,hbase) id String 集群ID,是一个定长字符串,只包含大小写字母、数字、连字号(-)和下划线(_) imageType String 集群类型,参考 BMR集群 imageVersion String
登录控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页,并做如下配置: 1. 创建一个bmr2.2.0镜像的集群,选择kudu+impala 选择了kudu,则集群必须有2个master节点和至少3个core节点。(由于task节点可以进行弹性伸缩,故而默认不启动tserver进行kudu数据存储。)
Alluxio Alluxio简介 1.什么是Alluxio Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应用和存储系统构建了桥梁, 将数据从存 储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。 这还使得应用程序能够通过一个公共接口连接到许多存储系统。
集群审计 概述 云审计(BCT,Baidu CloudTrail), 是支持对云账户进行监管、合规性检查、操作审核和风险审核的服务。借助 BCT,BMR 可以记录基础设施中的相关操作。 用户可登录 BCT 产品查看事件详情,参考 BCT操作指南 。
表一 调度类型说明 调度类型 类型说明 Capacity Schedule 多个组织共享一个Hadoop集群,每个组织可以分配到全部集群资源的一部分。每个组织被配置一个专门的队列,每个队列被配置为可以使用一定的集群资源。队列可以进一步按层次划分,这样每个组织内的不同用户能够共享该组织队列所分配的资源。在一个队列内,使用FIFO调度策略对应用进行调整。
Hue为Hadoop数据分析提供了图形界面系统,仅使用浏览器便能够在Hadoop平台上导入数据、处理数据以及分析数据。 Hue 3.10.0使用 创建集群 准备数据,请参考 数据准备 。 准备百度智能云环境 。
保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集群为模板。 查看保存的模板可以在侧边导航选择集群模板查看。
Druid Druid简介 Druid是一个高性能的实时数据分析系统,由MetaMarkets公司在2012开源,专门为OLAP场景而设计。Druid遵从Lambda架构,支持批量和实时两种方式导入数据,并提供高性能的数据查询。 集群准备 Druid模版 登录百度云控制台,选择“产品服务->百度MapReduce BMR”,点击“创建集群”,进入集群创建页。
创建集群 登录百度云控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页。BMR2.0.0及以上版本已支持 Impala 组件集成,购置集群时勾选 Impala 组件即可, 如下图所示: 使用简介 远程登录到创建好的集群 Plain Text 复制 1 ssh root@$public_ip 2 使用创建集群时输入的密码 准备数据,可以参考 数据准备 。
连接集群 远程登录到创建好的集群,使用创建集群时输入的密码。 Plain Text 复制 1 ssh root@$public_ip 登录ClickHouse客户端。