百度MapReduce BMR

    访问集群服务页面

    访问集群Hadoop Yarn服务页面

    通过Web UI可访问Hadoop Yarn,具体操作如下:

    1. 打开“产品服务>MapReduce>百度MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。
    2. 点击“服务页面”栏中的“Hadoop Yarn”对应的链接。
    3. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

    访问集群的Hue Web页面

    在BMR中,您可以选择添加Hue应用实现以下操作:

    • 编辑与执行Hive脚本。
    • 查看集群HDFS。

    BMR提供了两种访问Hue服务页面的方式:Web UI、SSH Tunnel。

    通过Web UI访问Hue Web页面

    1. 创建集群中设置软件配置时,添加Hue和Hive应用。
    2. 打开“产品服务>MapReduce>百度MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。
    3. 点击“服务页面”栏中的“Hue”对应的链接。
    4. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

    注意:

    • 若集群的CORE节点是2个,使用Hue Web上传文件时,建议文件大小不超过64MB。
    • 若集群的CORE节点是3个或以上,使用Hue Web上传文件时,建议文件大小不超过1.5GB。

    通过SSH Tunnel访问Hue Web页面

    1. 创建集群中设置软件配置时,添加Hue和Hive应用。
    2. 建立SSH Tunnel并配置浏览器,具体操作请参考[准备](#通过SSH Tunnel访问集群的环境准备)中的所有步骤。
    3. 代理设置完后,在Master结点上执行命令hostname获取hostname。 下图是通过putty在Master节点上执行hostname的显示结果,其中“ndg45c458-master-instance-8y6oeh6l.novalocal”是Master结点的hostname:

      注意:如果需要使用其他用户,请登录Master结点创建系统用户,保证用户UID大于500。登录Master可参考SSH连接到集群

    4. 通过http://hostname:8888/访问Hue Console。下图是Hue访问界面。

    访问集群的Ganglia页面

    在BMR的集群中集成了Ganglia服务,您可访问Ganglia的Web前端。Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:CPU、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。

    通过SSH Tunnel可访问Ganglia服务页面,具体操作如下:

    1. 建立SSH Tunnel并配置浏览器,具体操作请参考[准备](#通过SSH Tunnel访问集群的环境准备)中的所有步骤。
    2. 代理设置完成后,可通过以下两个地址访问Ganglia服务:

      • master_name/ganglia,master_name即为master节点的hostname。如下图所示,“ng175fe8a-master-instance-8y6oeh6l”是master结点的hostname:

      • 内网IP/ganglia,内网IP可以在控制台的“实例详情”获取。
    3. Ganglia服务页面如下图所示:
    上一篇
    使用OpenVPN提交Hadoop作业
    下一篇
    通过SSH-Tunnel访问集群的环境准备