Zeppelin Zeppelin简介 zeppelin 是一个交互式数据分析工具,可支持spark、sql等数据分析工具(详细介绍,请参考 zeppelin 官网 )。 本文将介绍如何在zeppelin上链接配置hiveserver2,来介绍zeppelin上sql的基本使用。 集群准备 准备百度智能云环境。
保存集群为模板 在MapReduce集群列表中,选择对应的集群点击操作列 保存为模版 即可保存集群为模板。 查看保存的模板可以在侧边导航选择集群模板查看。
Presto Presto简介 Presto是一个分布式SQL查询引擎,用于查询分布在一个或多个不同数据源中的大数据集。Presto通过使用分布式查询,可以快速高效的完成海量数据的查询,并提供了Web UI页面方便用户查看任务查询详情与服务运行状态。
一个节点只能关联一个标签,若节点已关联其他标签,再次关联新标签时,原标签关系将被替换。 说明:DEFAULT_PARTITION为系统默认标签,不支持编辑和删除。 编辑标签 在 YARN标签管理 页面,找到目标标签。 点击操作列中的 编辑 。 修改标签关联的节点 点击 确定 保存修改。 点击 部署生效 ,将修改后的标签配置下发到集群。
防御白名单 新增队列 进入MapReduce集群列表界面,点击集群名称进入详情界面。 选择侧边导航SQL防御>防御白名单,在界面单击新增队列按钮,填写队列的名称后确定队列白名单创建完成。 删除队列:创建完成的队列以列表形式展示,单击列表操作列删除按钮,可对队列进行删除操作。 注意:删除队列白名单后,将会一并删除规则里已经配置的该白名单队列,请您谨慎操作。
Sqoop - 1.4.6 - 1.4.7 Ooize - - - 5.1.0 yarn 2.7.1 2.7.1 2.7.7 2.8.5 必选 hdfs 2.7.1 2.7.1 2.7.7 2.8.5 必选 zookeeper 3.4.6 3.4.6 3.4.6 3.4.6 必选 mapreduce2
StarRocks查询Hive集群数据 StarRocks支持通过External Catalog(外部数据目录)直接查询Hive集群中的数据,无需将数据导入StarRocks。创建Hive Catalog后,即可像访问内部表一样查询存储在Hive中的数据,原生支持ORC、Parquet、Text等文件格式。 功能概述
生态兼容 兼容 Hadoop 生态,可与 Hive、Spark、Flink、MapReduce 等组件无缝集成,为大数据计算提供统一的数据存储服务。 架构组成 HDFS 主要由以下组件组成: 组件 说明 NameNode 管理文件系统元数据,包括目录结构、文件信息以及数据块位置等。 DataNode 存储实际数据块,并负责客户端数据的读写。
创建集群 登录百度云控制台,选择“产品服务->MapReduce BMR”,点击“创建集群”,进入集群创建页。BMR2.0.0及以上版本已支持 Impala 组件集成,购置集群时勾选 Impala 组件即可, 如下图所示: 使用简介 远程登录到创建好的集群 Plain Text 复制 1 ssh root@$public_ip 2 使用创建集群时输入的密码 准备数据,可以参考 数据准备 。
计费方式 计费方式 MapReduce支持包年包月和按需付费两种计费方式。 计费方式 描述 包年包月 也是预付费模式,预付费模式指的是在购买集群资源时即需支付全部费用,它更适合有长期需求的用户。相较于按使用量付费,预付费的价格更为优惠,并且用户购买的时长越长,所能享受到的折扣力度也越大。 按需付费 按量付费的集群模式会根据其实际的使用情况即时生成费用账单,这意味着一旦费用产生,就不会进行退款处理。