什么是 HDFS

HDFS（Hadoop Distributed File System）是 Hadoop 生态中的开源分布式文件系统，专为海量数据存储和高吞吐数据访问设计。HDFS 将文件切分为多个数据块（Block），分布存储在集群中的多个节点，并通过多副本机制保障数据可靠性和高可用性。

BMR 提供 HDFS 服务，可作为 Hive、Spark、Flink、MapReduce 等大数据计算引擎的存储层，为离线计算、数据仓库、日志分析等场景提供稳定、高效的数据存储能力。

功能特点

分布式存储

HDFS 将文件切分为多个数据块，并分布存储到不同节点，实现海量数据的分布式存储，并支持存储容量的水平扩展。

高可靠性

HDFS 默认采用多副本机制存储数据。当节点发生故障时，系统可自动从其他副本恢复数据，保障数据安全和业务连续性。

高吞吐访问

HDFS 针对大文件顺序读写进行了优化，能够满足离线计算、批量分析等高吞吐场景的数据访问需求。

弹性扩展

支持通过增加 DataNode 节点扩展存储容量和集群性能，无需迁移已有数据。

生态兼容

兼容 Hadoop 生态，可与 Hive、Spark、Flink、MapReduce 等组件无缝集成，为大数据计算提供统一的数据存储服务。

架构组成

HDFS 主要由以下组件组成：

组件	说明
NameNode	管理文件系统元数据，包括目录结构、文件信息以及数据块位置等。
DataNode	存储实际数据块，并负责客户端数据的读写。
Block	文件存储的基本单位，HDFS 会将文件拆分为多个 Block 进行存储。
Replica	数据块副本，用于提高数据可靠性和容错能力。

适用场景

• Hive 数据仓库存储
• Spark、Flink 等离线计算
• 数据湖存储
• 海量日志采集与分析
• AI/机器学习训练数据存储
• ETL 数据处理中间数据存储