Presto之分布式安装查询Hive

作者：carzy2024.02.16 14:10浏览量：4

简介：Presto是一个分布式SQL查询引擎，用于在Hadoop集群上快速查询数据。本篇文章将介绍如何安装和配置Presto，以及如何使用Presto查询Hive数据。

Presto是一个高性能的分布式SQL查询引擎，用于在Hadoop集群上快速查询数据。它支持多种数据源，包括Hive、MySQL、PostgreSQL等。在本篇文章中，我们将介绍如何安装和配置Presto，以及如何使用Presto查询Hive数据。

一、安装和配置Presto

  1. 安装JDK

首先，需要在每台机器上安装Java Development Kit (JDK)，确保版本为1.8.0_131或更高。

  1. 下载并解压Presto

从Presto官网下载Presto的压缩包，解压到指定的目录下。

  1. 配置环境变量

在每台机器上，将Presto的bin目录添加到PATH环境变量中。

  1. 配置Presto

创建一个名为config.properties的文件，并添加以下内容：

  1. coordinator=true
  2. node-scheduler.include-coordinator=true
  3. http-server.http.port=8080
  4. task.max-memory=1GB
  5. distributed-joins=true

这些配置项将使Presto作为协调器运行，并允许节点调度器将协调器包括在内。HTTP服务器的端口设置为8080，每个任务的最大内存设置为1GB，启用分布式连接。

  1. 启动Presto

在每台机器上，启动Presto的协调器和节点：

  1. ./bin/launcher start

这将启动Presto的协调器和节点，并监听指定的端口。

二、使用Presto查询Hive数据

  1. 配置Hive连接器

在Presto的插件目录下创建一个名为hive的目录，并在其中创建一个名为hive-site.xml的文件，添加以下内容：

  1. <property>
  2.   <name>hive.metastore.uris</name>
  3.   <value>thrift://localhost:9083</value>
  4. </property>
  5. <property>
  6.   <name>hive.config.resources</name>
  7.   <value>hive-site.xml</value>
  8. </property>

这些配置项将设置Hive的元数据存储URI和配置资源文件。确保将localhost:9083替换为实际的Hive Metastore服务器的地址和端口。

  1. 下载并解压Hive数据文件

从网上下载一个包含Hive数据的文件，并将其解压到指定的目录下。确保该文件包含一个名为hive-site.xml的文件，该文件包含正确的Hive配置信息。

  1. 将Hive数据文件添加到Hadoop集群中

使用以下命令将Hive数据文件添加到Hadoop集群中：

  1. hadoop fs -put /path/to/hive/data /user/hive/warehouse/mydb/mytable/data/raw_data.txt

确保将/path/to/hive/data替换为实际的Hive数据文件的路径，将/user/hive/warehouse/mydb/mytable/data替换为实际的Hadoop文件系统路径。

最热文章