Ubuntu 16.04 安装 Hadoop 单机和伪分布式环境详解

一、准备工作
在开始安装之前，请确保您的 Ubuntu 16.04 系统已经具备以下条件：

1. 至少 8GB 的内存；
2. 至少 50GB 的硬盘空间；
3. 网络连接稳定。
   同时，请确保您已经了解了 Hadoop、Java 和 SSHD 的基本概念和原理。
   二、安装 JDK
   在 Ubuntu 16.04 上安装 Hadoop 需要 Java 开发工具包 (JDK) 的支持。请按照以下步骤安装 JDK：
4. 打开终端，输入以下命令更新软件包列表：

   sudo apt-get update

5. 安装 JDK，输入以下命令：

   sudo apt-get install openjdk-8-jdk

6. 安装完成后，可以通过以下命令验证 JDK 是否成功安装：

   jdk -version

   三、安装 Hadoop
   接下来我们将开始安装 Hadoop。由于我们是在单机和伪分布式环境下搭建 Hadoop，因此只需下载 Hadoop 的 tar 包即可。请按照以下步骤进行操作：
7. 打开终端，使用以下命令下载 Hadoop 2.7.4 的 tar 包（确保您的网络连接稳定）：

   wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

8. 解压 tar 包，输入以下命令：

   tar -xzf hadoop-2.7.4.tar.gz

9. 将解压后的 Hadoop 目录移动到 /usr/local 下，输入以下命令：

   mv hadoop-2.7.4 /usr/local/hadoop

   四、配置 Hadoop 环境变量
   接下来我们需要配置 Hadoop 的环境变量。请按照以下步骤进行操作：
10. 在主目录下创建 hadoop 文件夹，并进入该文件夹，输入以下命令：

    bindle create hadoop-env.sh

11. 使用文本编辑器打开 hadoop-env.sh 文件，添加以下内容：

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64
    export HADOOP_HOME=/usr/local/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$JAVA_HOME/bin

12. 保存并关闭文件。
    五、配置 Hadoop 核心文件
    接下来我们需要配置 Hadoop 的核心文件。请按照以下步骤进行操作：
13. 进入 Hadoop 安装目录下的 etc 文件夹，输入以下命令：

    cd /usr/local/hadoop/etc/hadoop

14. 使用文本编辑器打开 core-site.xml 文件，添加以下内容：

    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
    </property>
    </configuration>

15. 保存并关闭文件。