节点类型说明
更新时间:2021-11-26
MapReduce集群提供四种类型的节点:
- Master节点:为集群管理节点,部署 NameNode、ResourceManager、HMaster 等进程,在创建集群时可以选择开启高可用模式,支持核心组件服务自动故障迁移。建议选择8核以上的节点配置。
- Core节点:为计算及数据存储节点,部署 DataNode、NodeManager、RegionServer 等进程。并且HDFS 中的数据和计算过程中的中间结果日志数据全部存储于 Core 节点中;采用存算分离架构下的计算中间结果数据也会存放在core节点中;为了数据安全,暂不支持对core节点的缩容操作。
- Task节点:为计算节点,用来补充core节点的算力,部署 NodeManger、PrestoWork 等进程。Task节点一般不用来存储数据,被计算的数据来自 Core 节点及 BOS 中,因此 Task 节点可按需进行扩容和缩容操作。
- Client节点:为独立的集群管控节点及作业提交节点。是与集群在同一VPC内的一组云服务器BCC,为用户提供独立的计算资源以实现集群的负载均衡及安全隔离,提高了集群的稳定及安全性。