使用Client节点提交作业
更新时间:2026-07-01
BMR支持通过Client节点以命令行方式提交作业,适用于MapReduce、Spark、Hive、Flink、Presto等主流计算引擎。通过Client节点提交作业可将客户端负载与Master核心服务解耦,提升集群稳定性和安全性。
使用Client节点提交作业
BMR支持通过Client节点以命令行方式提交作业,适用于MapReduce、Spark、Hive、Flink、Presto等主流计算引擎。通过Client节点提交作业可将客户端负载与Master核心服务解耦,提升集群稳定性和安全性。Client节点是BMR集群中独立的边缘节点及作业提交节点,与集群处于同一VPC内,具备以下优势:
- 负载隔离:将spark-submit、hadoop jar等客户端操作从Master节点剥离,避免高频提交影响NameNode、ResourceManager等核心服务的稳定性。
- 安全隔离:为不同用户或团队提供独立的提交环境,降低集群安全风险。
- 弹性扩展:Client节点可根据提交负载独立扩缩容,不影响集群的存储和计算资源。
说明:建议将Client节点作为日常作业提交的首选方式。Master节点应仅用于集群管理和紧急运维操作,不建议直接在Master节点上提交生产作业。
前提条件
- 已创建BMR集群,且集群状态为"运行中"。创建集群详情请参见创建集群。
- 集群中已添加Client节点。如未添加,可在集群详情页的节点管理中扩容Client节点。
- 集群中已安装对应的计算引擎组件(如需提交Spark作业,需在创建集群时选择Spark服务)。
- 已开放安全组的22端口,允许SSH访问。详情请参见SSH连接到集群。
连接Client节点
- 登录控制台,选择产品服务-MapReduce BMR,进入集群列表页。
- 点击目标集群名称,进入集群详情页。
- 在节点信息中点击Client节点,获取Client节点的公网IP地址。
- 通过SSH方式连接Client节点。
Linux/Mac环境:
Plain Text
1ssh root@<Client节点公网IP> -p 22
Windows环境:通过Putty、SecureCRT或Xshell等SSH客户端连接,协议选择SSH,端口22。
说明:用户名为root,密码为创建集群时设置的管理员密码。内网用户建议通过Client节点内网IP进行访问。
- 登录成功后,集群的大数据组件环境变量已自动配置,可直接使用各引擎的命令行工具。
评价此篇文章
