配置Yarn的调度策略为Fair Scheduler在Ambari中

作者:热心市民鹿先生2024.02.16 23:29浏览量:4

简介:在Ambari中配置Yarn的调度策略为Fair Scheduler,需要修改YARN列表中的配置参数,并新建fair-scheduler.xml文件。此外,还可以通过安装Ranger模块来增强安全性。

在Ambari中配置Yarn的调度策略为Fair Scheduler,可以按照以下步骤进行操作:

  1. 进入Ambari管理界面,找到YARN列表,然后找到yarn.resourcemanager.scheduler.class。
  2. 将yarn.resourcemanager.scheduler.class的值修改为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。
  3. 还需要配置其它参数,例如yarn.scheduler.fair.user-as-default-queue、yarn.scheduler.fair.preemption等。这些参数可以在Ambari界面的配置选项中进行设置。
  4. 在配置完成后,需要关闭Pre-emption选项。
  5. 最后,需要去配置文件夹(/etc/hadoop/conf, /usr/hdp/3.1.5.0-152/hadoop/conf/)新建fair-scheduler.xml文件,并修改对应权限。

另外,为了增强安全性,可以通过安装Ranger模块来实现。具体步骤如下:

  1. 进入Ambari管理界面,点击Add Service。
  2. 选择Ranger模块进行安装。
  3. 准备工作完成后,勾选复选框进行下一步。
  4. 选择需要安装Ranger模块的服务器,注意Ranger Usersync和Ranger Admin必须安装到同一台服务器上。
  5. 完成安装后,可以在Ranger标签同步功能中使用Hadoop集群。