Hadoop 伪分布式搭建指南

一、准备工作
在开始搭建Hadoop伪分布式之前，您需要确保您的系统已经满足了以下条件：

1. 操作系统：建议使用Linux系统，如Ubuntu或CentOS。
2. Java环境：确保您的系统已经安装了Java Development Kit（JDK），并且配置了JAVA_HOME环境变量。
3. 磁盘空间：至少需要10GB以上的可用磁盘空间。
4. 网络连接：确保您的系统可以访问互联网。
   二、安装Hadoop
5. 下载Hadoop安装包：访问Hadoop官网或使用其他可靠的下载源，下载适合您操作系统的Hadoop安装包。
6. 解压安装包：将下载的Hadoop安装包解压到您选择的目录中。
7. 配置环境变量：编辑~/.bashrc文件，添加以下内容：
   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin
8. 更新系统变量：运行命令source ~/.bashrc，使配置生效。
   三、创建Hadoop用户和目录
9. 创建Hadoop用户：运行命令sudo useradd hadoop，创建一个新的用户名为hadoop的用户。
10. 创建Hadoop目录：运行命令sudo mkdir /hadoop，在根目录下创建一个名为hadoop的目录。
11. 切换到Hadoop用户：运行命令sudo su - hadoop，切换到新创建的hadoop用户。
    四、配置Hadoop文件和目录
12. 创建Hadoop数据目录：在/hadoop目录下创建一个名为data的目录，用于存储HDFS的数据。运行命令mkdir /hadoop/data。
13. 创建Hadoop日志目录：在/hadoop目录下创建一个名为logs的目录，用于存储Hadoop的日志文件。运行命令mkdir /hadoop/logs。
14. 配置core-site.xml文件：打开$HADOOP_HOME/etc/hadoop/core-site.xml文件，添加以下内容：
    
    
    fs.defaultFS
    hdfs://localhost:9000
    
    
    这里将文件系统的默认路径设置为本地主机（localhost）的9000端口。您可以根据需要修改端口号。
15. 配置hdfs-site.xml文件：打开$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件，添加以下内容：
    
    
    dfs.namenode.name.dir
    /hadoop/data/namenode
    
    
    dfs.datanode.data.dir
    /hadoop/data/datanode
    
    
    这里将NameNode和DataNode的数据目录设置为/hadoop/data/namenode和/hadoop/data/datanode。您可以根据需要修改这些路径。
    五、启动Hadoop伪分布式模式
16. 格式化NameNode：运行命令hdfs namenode -format，对NameNode进行格式化操作。
17. 启动HDFS：运行命令start-dfs.sh，启动HDFS的相关服务。
18. 启动YARN：运行命令start-yarn.sh，启动YARN的相关服务。
19. 查看服务状态：运行命令jps，查看所有服务的状态。如果所有服务都正常启动，您将看到类似以下的输出：
    1004 NameNode
    1006 SecondaryNameNode
    1010 ResourceManager
    1018 NodeManager
    六、验证伪分布式环境是否搭建成功
20. 上传文件到HDFS：运行命令hdfs dfs -put /path/to/local/file /path/to/hdfs/dir，将本地文件上传到HDFS中指定的目录。您可以使用任意文本编辑器创建一个测试文件进行上传。
21. 查看HDFS中的文件：运行命令hdfs dfs -ls /path/to/hdfs/dir，查看HDFS中指定目录下的文件列表。如果文件成功上传，您应该能够看到上传的文件名。
    通过以上步骤，您已经成功搭建了Hadoop伪分布式环境。现在您可以开始进行Hadoop的基本操作和数据处理了。