搭建 Hadoop 集群并使用 Java API 访问 HDFS

在开始之前，请确保您的机器上已经安装了 Docker。如果没有安装，请按照 Docker 的官方文档进行安装。

第一步：创建 Hadoop 镜像

首先，我们需要创建一个 Hadoop 镜像。在 Dockerfile 中，我们需要定义镜像的基础镜像、环境变量、安装 Hadoop 等操作。以下是一个简单的 Dockerfile 示例：

# 使用官方的 Java 镜像作为基础镜像
FROM openjdk:8-jdk-alpine
# 设置环境变量
ENV HADOOP_HOME /opt/hadoop
ENV PATH $PATH:$HADOOP_HOME/bin
# 下载 Hadoop 安装包
ADD hadoop-3.3.1.tar.gz /opt
# 解压 Hadoop 安装包
RUN apk add --no-cache --virtual=build-dependencies unzip wget && \n    unzip /opt/hadoop-3.3.1.tar.gz -d /opt && \n    rm /opt/hadoop-3.3.1.tar.gz && \n    apk del build-dependencies

第二步：构建镜像并运行容器

在创建了 Dockerfile 后，我们需要构建镜像并运行容器。以下是在终端中执行这些操作的命令：

# 构建镜像
docker build -t hadoop:latest .
# 运行容器，将容器的端口映射到主机的端口上，这里我们将 HDFS 的 NameNode 和 JobTracker 的端口分别映射到主机的 9000 和 9999 上
docker run -p 9000:9000 -p 9999:9999 hadoop:latest

第三步：验证 Hadoop 集群是否正常运行

我们可以使用以下命令来验证 Hadoop 集群是否正常运行：

# 查看容器中运行的进程
docker exec <container_id> ps aux | grep hadoop

如果看到 Hadoop 的进程正在运行，那么说明 Hadoop 集群已经正常运行。

第四步：使用 Java API 访问 HDFS

要使用 Java API 访问 HDFS，首先需要创建一个 Java 项目，并在项目中添加 Hadoop 的 Java API 依赖。然后，编写 Java 代码来连接到 HDFS 并执行相关操作。以下是一个简单的示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.net.URL;
import java.nio.file.Files;
import java.nio.file.Paths;
import java.nio.file.StandardCopyOption;
import java.util.jar.JarFile;
import java.util.jar.Manifest;
import static org.junit.Assert.*;
import org.junit.*;
import org.junit.runner.*;
import org.junit.runners.*;