文件主要包含迁移任务的列表信息和并发度等,配置文件中有些配置被修改后会自动重新加载,如 serverThreadNum (单次迁移请求期望server使用的并发线程数量);有些是不能重新加载的,如 taskList (迁移任务列表),具体配置可以参考文件内的注释说明。
配置BOSCLI 通用配置 配置支持中文显示的CLI环境 如需要配置支持中文显示的CLI环境,请执行如下命令配置: $ export LANG=en_US.UTF-8 说明: 可先执行 $ locale 命令查看当前环境的语言支持情况,若不是 LANG=en_US.UTF-8 ,可执行上述命令进行修改。
续费说明 续费方式 MapReduce目前支持自动续费和手动续费。使用预付费方式购买的包年包月集群,在集群状态为“运行中”或“已停服”时可续费。 表一 续费说明 续费类型 续费说明 自动续费 在 产品服务>MapReduce>集群列表 页,单击 自动续费 按钮进入续费管理。 手动续费 1.在 产品服务>MapReduce>集群列表 页,单击需续费集群对应的 续费 按钮,进入该集群的续费页。
查看结果 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。
查看作业 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 在“产品服务>MapReduce>MapReduce-作业列表”中,点击作业名称,可查看作业基本信息。 Hadoop将job分成若干个task进行处理,共有两种类型的task,分别为map task和reduce task。
诊断、调优 注:自2024年6月30日起,MapReduce暂不提供作业相关功能支持,可通过第三方平台EasyDAP或开源组件Airflow提交任务。 目的 诊断运行失败的作业,在日志中定位失败的原因,精确定位到您的程序中错误的位置。 调优运行成功的作业,基于经验评价作业的配置和参数的合理性,给予您调优的建议。
运行wordcount程序 hadoop自带的wordcount程序在 $hadoop_dir/share/hadoop/mapreduce/ 下 $ hadoop jar hadoop-mapreduce-examples-2.7.7.jar wordcount bos://test-bucket/data/wordcount bos://test-bucket/output/wordcount
创建数据目录 用于保存 MapReduce 任务的输入文件 $ hdfs dfs -mkdir -p bos://test-bucket/data/wordcount 用于保存 MapReduce 任务的输出文件 $ hdfs dfs -mkdir bos://test-bucket/output 查看这两个新创建的目录 $ hdfs dfs -ls bos://test-bucket/ Found
资源管理 YARN管理 1.进入MapReduce集群列表界面,点击 集群名称 进入详情界面。 2.选择侧边导航 资源管理 进入资源管理界面。资源管理包括Yarn资源队列管理、HDFS存储资源管理。 在资源管理页面的Yarn页面,每个队列拥有一个名为root的默认资源池。在列表页可以选择不同的调度类型。调度类型分为两种: Capacity Scheduler 和 FAIR Scheduler 。
点击左侧导航栏“监听设置”,选择HTTP或HTTPS协议配置7层监听。 开启定制配置开关,添加定制配置。