Hadoop安装搭建伪分布式教程

在开始之前，请确保您的系统满足以下要求：

1. 操作系统：建议使用Linux发行版，如Ubuntu或CentOS。
2. Java环境：确保您的系统已安装Java Development Kit (JDK)，版本建议为OpenJDK 11或更高版本。
3. 磁盘空间：至少需要100GB的可用磁盘空间。
4. 内存：至少需要4GB的内存。
   步骤一：下载Hadoop
   首先，从Hadoop官网下载适合您操作系统的Hadoop安装包。解压已下载的安装包到您的主目录中。
   步骤二：配置环境变量
   打开终端，编辑~/.bashrc文件，添加以下内容：

   export HADOOP_HOME=/path/to/hadoop
   export PATH=$PATH:$HADOOP_HOME/bin

   请将/path/to/hadoop替换为您实际的Hadoop安装路径。然后，运行以下命令使配置生效：

   source ~/.bashrc

   步骤三：创建Hadoop目录结构
   在Hadoop的根目录下创建以下目录结构：

   $HADOOP_HOME/etc/hadoop/
   $HADOOP_HOME/logs/
   $HADOOP_HOME/sbin/
   $HADOOP_HOME/share/hadoop/common/lib/
   $HADOOP_HOME/share/hadoop/common/
   $HADOOP_HOME/share/hadoop/hdfs/lib/
   $HADOOP_HOME/share/hadoop/hdfs/
   $HADOOP_HOME/share/hadoop/mapreduce/lib/
   $HADOOP_HOME/share/hadoop/mapreduce/
   $HADOOP_HOME/share/hadoop/yarn/lib/
   $HADOOP_HOME/share/hadoop/yarn/
   $HADOOP_HOME/share/hadoop/tools/lib/

   步骤四：配置Hadoop核心文件
   进入$HADOOP_HOME/etc/hadoop/目录，编辑core-site.xml文件，添加以下内容：

   <configuration>
   <property>
   <name>fs.defaultFS</name>
   <value>hdfs://localhost:9000</value>
   </property>
   </configuration>

   编辑hdfs-site.xml文件，添加以下内容：

   <configuration>
   <property>
   <name>dfs.namenode.name.dir</name>
   <value>/path/to/namenode</value>
   </property>
   <property>
   <name>dfs.datanode.data.dir</name>
   <value>/path/to/datanode</value>
   </property>
   </configuration>

   请将/path/to/namenode和/path/to/datanode替换为您实际存储HDFS数据的目录路径。接下来，编辑mapred-site.xml文件，添加以下内容：

   <configuration>
   <property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   </property>
   </configuration>

   步骤五：配置YARN文件和目录结构（可选）如果您计划使用YARN，请继续以下步骤。否则，您可以跳过此部分。进入$HADOOP_HOME/etc/hadoop目录，创建yarn-site.xml文件，并添加以下内容：
   ```xml
   
   yarn.resourcemanager.hostname
   localhost
   
   
   yarn.nodemanager.aux-services
   mapreduce_shuffle