访问集群服务页面

访问集群Hadoop Yarn服务页面

通过Web UI可访问Hadoop Yarn,具体操作如下:

  1. 打开“产品服务>MapReduce>百度MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。

  2. 点击“服务页面”栏中的“Hadoop Yarn”对应的链接。

  3. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

访问集群的Hue Web页面

在BMR中,您可以选择添加Hue应用实现以下操作:

  • 编辑与执行Hive脚本。
  • 查看集群HDFS。

BMR提供了两种访问Hue服务页面的方式:Web UI、SSH Tunnel。

通过Web UI访问Hue Web页面

  1. 创建集群中设置软件配置时,添加Hue和Hive应用。

  2. 打开“产品服务>MapReduce>百度MapReduce-集群列表”,点击已创建的集群,进入实例详情页面。

  3. 点击“服务页面”栏中的“Hue”对应的链接。

  4. 在弹出的认证页面中输入创建集群时设置的用户名和密码即可访问集群服务页面。

注意:

  • 若集群的CORE节点是2个,使用Hue Web上传文件时,建议文件大小不超过64MB。
  • 若集群的CORE节点是3个或以上,使用Hue Web上传文件时,建议文件大小不超过1.5GB。

通过SSH Tunnel访问Hue Web页面

  1. 创建集群中设置软件配置时,添加Hue和Hive应用。

  2. 建立SSH Tunnel并配置浏览器,具体操作请参考准备中的所有步骤。

  3. 代理设置完后,在Master结点上执行命令hostname获取hostname。
    下图是通过putty在Master节点上执行hostname的显示结果,其中“ndg45c458-master-instance-8y6oeh6l.novalocal”是Master结点的hostname:

    注意:

    • 如果需要使用其他用户,请登录Master结点创建系统用户,保证用户UID大于500。登录Master可参考SSH连接到集群
  4. 通过http://hostname:8888/访问Hue Console。下图是Hue访问界面。

访问集群的Ganglia页面

在BMR的集群中集成了Ganglia服务,您可访问Ganglia的Web前端。Ganglia是UC Berkeley发起的一个开源集群监视项目,设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能,如:CPU、mem、硬盘利用率,I/O负载、网络流量情况等,通过曲线很容易见到每个节点的工作状态,对合理调整、分配系统资源,提高系统整体性能起到重要作用。

通过SSH Tunnel可访问Ganglia服务页面,具体操作如下:

  1. 建立SSH Tunnel并配置浏览器,具体操作请参考准备中的所有步骤。

  2. 代理设置完成后,可通过以下两个地址访问Ganglia服务:

    • master_name/ganglia,master_name即为master节点的hostname。如下图所示,“ng175fe8a-master-instance-8y6oeh6l”是master结点的hostname:

    • 内网IP/ganglia,内网IP可以在控制台的“实例详情”获取。
  3. Ganglia服务页面如下图所示:

通过SSH Tunnel访问集群的环境准备

建立SSH Tunnel

集群创建成功后,集群创建成功后,请至“站内信”中获取Master节点的公网IP和SSH端口号,并通过如下配置在Linux环境或Windows环境下建立SSH Tunnel连接集群:

  • Linux环境下:通过 ssh -ND [local_port] [username]@[eip] -p [端口号]命令连接Master节点。执行命令后即与Master节点建立了SSH Tunnel,且Master节点不返回响应信息。

    • eip:Master节点的公网IP地址。
    • local_port:选择一个本机未被使用的端口。
    • 端口号:SSH端口。
  • Windows环境下:

    1. 下载并配置Putty,如下图所示:

    2. 选择SSH>Tunnels,输入一个本机没有被使用的端口,并选择“Dynamic”和“IPv4”,保持“Destination”为空,点击“Add”按钮添加。

    3. 点击“Open”,如果有弹窗,选择“Yes”,输入短信中的用户名密码,登录Master节点。

配置浏览器

  • 配置Firefox,选择“远程DNS”选项,以便正确解析主机。

  • 配置Chrome,将SOCKS代理设置为127.0.0.1。