Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机

一、克隆虚拟机前的准备工作
在克隆虚拟机之前，我们需要确保虚拟机已经安装了必要的软件和配置。以下是一些建议的步骤：

1. 确保虚拟机已经安装了Linux操作系统，并且已经更新到最新版本。
2. 在虚拟机上安装Java开发工具包（JDK），因为Hadoop需要Java运行环境。
3. 配置网络连接，确保虚拟机可以连接到外部网络。
4. 配置SSH密钥，以便在克隆虚拟机后进行无密码登录。
   二、克隆虚拟机
   一旦准备工作完成，我们就可以开始克隆虚拟机了。以下是克隆虚拟机的详细步骤：
5. 打开虚拟化软件（如VMware），选择要克隆的虚拟机。
6. 在虚拟化软件中选择“克隆虚拟机”选项，并按照提示完成克隆过程。这个过程可能需要一些时间，具体取决于虚拟机的配置和网络速度。
7. 克隆完成后，您将得到三台完全相同的虚拟机。接下来，我们需要为每台虚拟机分配不同的主机名和IP地址。
8. 打开每台虚拟机的终端，并使用以下命令修改主机名：

   hostnamectl set-hostname <hostname>

   其中， 是您为每台虚拟机分配的主机名，例如 hadoop01、hadoop02 和 hadoop03。
9. 接下来，为每台虚拟机分配不同的IP地址。打开网络配置文件 /etc/sysconfig/network-scripts/ifcfg-eth0（假设eth0是网络接口名称），并修改 IPADDR 和 NETMASK 选项，例如：

   IPADDR=192.168.1.101
   NETMASK=255.255.255.0

   将 IPADDR 修改为不同的IP地址，例如 192.168.1.101、192.168.1.102 和 192.168.1.103。
10. 重启网络服务以使更改生效：

    systemctl restart network

    三、验证虚拟机连通性
    完成上述步骤后，我们需要验证三台虚拟机之间的连通性。以下是一些建议的步骤：
11. 在每台虚拟机上运行以下命令，检查是否可以相互ping通：

    ping <hostname>

    其中， 是其他虚拟机的主机名。如果能够正常ping通，则表示网络连通性正常。
12. 确保每台虚拟机之间可以通过SSH进行无密码登录。在每台虚拟机上生成SSH密钥对，并将公钥复制到其他虚拟机的 authorized_keys 文件中。这样，您就可以使用私钥进行无密码登录了。
    四、配置Hadoop集群
    最后，我们需要配置Hadoop集群以使其正常运行。以下是一些建议的步骤：
13. 在每台虚拟机上安装Hadoop软件包，并将其添加到 PATH 环境变量中。您可以从Hadoop官方网站下载最新的稳定版本。
14. 在 Hadoop 配置文件 core-site.xml 中设置以下属性：

• fs.defaultFS: 指定 Hadoop 文件系统的 URI，例如hdfs://hadoop01:9000/
• hadoop.tmp.dir: 指定 Hadoop 的临时目录，例如 /hadoop/tmp在每台虚拟机上修改相应的配置文件（通常位于 /etc/hadoop/conf），并确保所有虚拟机的配置一致。

1. 在每台虚拟机上启动 Hadoop 服务：

   start-dfs.sh
   start-yarn.sh

   这将启动分布式文件系统（DFS）和资源管理器（YARN）。您可以使用相应的命令来停止服务。
2. 在每台虚拟机上运行以下命令来检查 Hadoop 服务的状态：

   jps