安装与验证Hadoop

在开始之前，请确保您的系统满足Hadoop的最低要求。通常，Hadoop需要在64位操作系统上运行，并需要Java Development Kit (JDK) 1.8或更高版本。
步骤1：下载Hadoop
访问Hadoop官方网站或使用您的包管理器下载Hadoop。对于大多数Linux发行版，可以使用以下命令：

sudo apt-get install hadoop

步骤2：配置Hadoop
在Hadoop安装目录下，找到并编辑etc/hadoop/core-site.xml文件。添加以下配置：

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

步骤3：格式化HDFS
运行以下命令来格式化HDFS：

hdfs namenode -format

步骤4：启动Hadoop
使用以下命令启动Hadoop：

start-all.sh

步骤5：验证Hadoop
要验证Hadoop是否正确安装，可以执行以下命令：

1. 检查Hadoop守护进程状态：

   jps

   如果看到NameNode、SecondaryNameNode、DataNode等进程，则表示Hadoop正在运行。
2. 访问Hadoop Web界面：打开浏览器并输入 http://localhost:50070/。您应该能够看到Hadoop NameNode的Web界面。
3. 使用Hadoop命令：运行以下命令来检查HDFS文件系统：

   hadoop fs -ls /

   这将列出HDFS根目录下的文件和文件夹。如果一切正常，您应该看到类似于/user和/tmp的目录。
4. 运行一个简单的MapReduce作业：编写一个简单的MapReduce程序，例如单词计数，并使用以下命令运行它：

   hadoop jar hadoop-examples.jar wordcount /input /output

   其中/input是输入文件的路径，/output是输出文件的路径。运行作业后，您可以在输出目录中查看结果。
5. 使用Hadoop命令行工具：尝试使用以下命令将本地文件复制到HDFS：

   hadoop fs -put localfile /hdfs/destination/path

   然后使用hadoop fs -ls /hdfs/destination/path来检查文件是否已成功复制到HDFS。
6. 停止Hadoop：要停止Hadoop，请运行以下命令：

   stop-all.sh