Hive安装配置（超详细）

Hive是一个基于Hadoop的数据仓库工具，可以对大规模数据进行批处理和查询分析。下面将详细介绍Hive的安装和配置过程。
一、环境准备

1. 确保已经安装了Hadoop集群，并且能够正常运行。
2. 确保已经安装了Java，并且配置了JAVA_HOME环境变量。
3. 下载Hive安装包，可以选择适合自己环境的版本。
   二、安装步骤
4. 将下载好的Hive安装包上传到Hadoop集群的服务器上，解压到适当的位置。
5. 配置Hive的环境变量。编辑Hive安装目录下的conf文件夹中的hive-env.sh文件，配置以下变量：

• export HIVE_HOME=/path/to/hive
• export PATH=$PATH:$HIVE_HOME/bin

1. 配置Hive的元数据存储。Hive默认使用Derby数据库作为元数据存储，如果需要使用其他数据库，需要配置相应的数据库驱动。
2. 初始化Hive元数据库。在Hive的命令行界面输入以下命令：

• schematool -initSchema -dbType [数据库类型]
  例如：schematool -initSchema -dbType mysql

1. 创建Hive的用户和用户组。根据实际情况创建相应的用户和用户组，并给予相应的权限。
   三、配置文件设置
2. 编辑Hive的配置文件hive-site.xml，配置以下参数：

• hive.metastore.uris：指定Hive Metastore的服务地址。
• hive.server2.authentication：指定Hive的认证方式，可以选择Kerberos、LDAP等认证方式。
• hive.server2.authentication.kerberos.principal：指定Kerberos认证的主机名和端口号。
• hive.server2.authentication.kerberos.keytab：指定Kerberos认证的密钥库文件路径。

1. 配置Hadoop的HDFS目录。在Hive的命令行界面输入以下命令：

• hdfs dfs -mkdir /user/hive/warehouse
• hdfs dfs -chmod 777 /user/hive/warehouse

1. 配置MySQL的JDBC驱动。将MySQL的JDBC驱动拷贝到Hive的lib目录下。
   四、启动与测试
2. 启动Hive Metastore服务。在命令行界面输入以下命令：

• schematool -dbType [数据库类型] -initSchema

1. 启动Hive Server2服务。在命令行界面输入以下命令：

• $HIVE_HOME/bin/hiveserver2

1. 测试Hive是否能够正常连接。在命令行界面输入以下命令：

• beeline -u jdbc//localhost:10000/default -n root

1. 在浏览器中访问Hive的管理界面，检查集群是否正常工作。
   五、其他配置
2. 解决Hive打印大量INFO日志的问题。可以修改Hive的日志级别为WARN级别，或者修改日志文件的存储位置。
3. 修改Hive的运行日志存放位置。创建hive-log4j2.properties文件，修改其中的日志存放位置，然后重启Hive服务。
4. 设置Hive的JVM堆内存大小。编辑hive-env.sh文件，修改其中的参数来调整JVM堆内存大小。
5. 关闭Hadoop虚拟内存检查。编辑Hadoop的配置文件mapred-site.xml，设置参数mapreduce.map.java.opts和mapreduce.reduce.java.opts来关闭虚拟内存检查。
6. 打印当前库和表头。在Hive的命令行界面输入以下命令：

• use [database_name]; show tables; show databases;