集群组件 API 使用
更新时间:2026-07-24
应用场景
需要在集群外部使用开源的 OpenAPI 去访问集群的大数据组件。例如,在同 VPC 内,查询 Hadoop 集群 Yarn 服务的作业列表、提交 Kyuubi 任务等。
使用负载均衡 BLB 自动做主备检测以及流量转发。
前提条件
- 创建 BMR 集群,且集群在运行中
- 参考 负载均衡 BLB 官方文档创建一个应用型 BLB 实例。
操作步骤
获取服务所在节点 IP 以及端口
- 选择产品服务>数据分析>MapReduce>集群进入集群列表页面。
- 点击目标集群名称,进入集群详情页面。
- 在左侧导航中选择服务管理,进入服务管理页面。
- 选择待开放的服务名称如HIVE
- 选择部署拓扑,获取待开放组件所在的内网 IP
| 服务组件 | BMR 默认端口 | 官网参考文档 |
|---|---|---|
| hiveserver2 | 10000 | hiveserver2 jdbc api |
| resourcemanager | 8088 | resourcemanager rest api |
| kyuubiserver | 10099 | kyuubiserver rest api |
配置流量转发
- 选择产品服务>网络>负载均衡>应用型实例进入实例列表
- 点击目标实例名称,进入实例详情页面。
- 在左侧导航中选择目标组,选择 Tab 中的 IP组,添加 IP 组,配置待转发服务的内网 IP、端口以及协议
- 在左侧导航中选择监听设置,添加监听设置,配置自定义监听端口,并将转发规则指向上述步骤中配置的 IP 组
- BLB 配置目标 IP 组、监听等信息,配置流量转发
注意:默认使用 TCP 协议,如果有主备模式或其他需要探测 url 可用性的需求,改为使用 HTTP 协议
Yarn ResourceManager 高可用模式配置参考
高可用模式下, Master 节点组三台机器均部署服务,以主备模式实现高可用,如果流量负载均衡到备机时,请求无法正常返回,所以需要使用 HTTP 协议,并配置健康检查
- 开放协议 HTTP
- 检查端口 8088
- 检查路径 /ws/v1/cluster
- 正常状态码,仅勾选 http_2xx,对于备机的 http_3xx,判定为实例异常,仅负载均衡到主机
【目标组】 - 【IP 组】 - 【添加 IP 组】- 【新增协议】
【目标组】 - 【IP 组】 - 【添加 IP 组】- 【添加 IP】
【监听设置】- 【添加监听设置】

可通过 curl "http://[blbip]:[port]/ws/v1/cluster" 验证是否可以正常转发流量
评价此篇文章
