配置类问题
更新时间:2024-04-22
如何配置集群,使得作业运行完毕后,集群自动终止?
在创建集群时进行设置,在【自动终止】选项中,选择开启,则在作业最后一步完成时,集群会自动终止。
BMR无法手动停止 job,必须等待它运行完吗?
不是的,作业流中的作业支持在控制台作业列表中进行人工停止作业。
集群是否支持外网登录?
支持。您可在集群运行期间,使用安全外壳协议(SSH),通过Master节点的公网IP、登录用户名和密码、以及SSH端口号,连接到Master主节点并实现与集群交互。
- Linux环境下:通过 ssh [username]@[eip] -p [端口号]命令连接Master节点。
- Windows环境下:通过SSH客户端(Putty、SecureCRT及Xshell等)使用SSH协议登录。
Core节点与Task节点的使用区别在哪里,如何选择?
- Core节点与Task节点的区别:和Core节点相比,Task节点没有部署hdfs,在增加和减小规模的时候没有丢失hdfs数据副本的风险,因此更加适合用来动态调整集群的计算能力(Core节点存储数据,可以运行DataNode和NodeManager,Task节点只运行NodeManager)。
- 如何选择:举例说明,例如处理10G数据,按照128MB切分,一共80个map task,一个计算节点(比如内存最优型)预期需要8个task的话,想尽快完成就需要10个计算节点,如果core配置5个节点,那么task也配5个就可以了。关于core节点数目,如果使用集群内的hdfs,需要根据hdfs中的数据大小规划core节点数量(一般常驻集群是这样的);如果不使用集群内的hdfs,而是使用bos作为数据源,可以使用最少的core节点数量(一般按需启动的集群是这样的)。以上只是一个例子,仅供参考。
VPC未增加域名解析导致集群创建失败,如何处理?
- 进入 VPC 产品页面,点击实例名称,查看 VPC 详情;
- 查看“域名”是否为 "-",若域名已有具体值,如 "xxx.baidu.internal" ,则已经增加域名解析,返回 BMR 产品继续创建集群即可;
- 如果“域名”为 "-",请您使用主账户,点击“变更”按钮,按照 region 变更域名,参照以下表格,
region | 域名 |
---|---|
武汉 | fwh.baidu.internal |
北京 | bj.baidu.internal |
保定 | bdbl.baidu.internal |
广州 | gz.baidu.internal |
苏州 | su.baidu.internal |
香港 | hkg.baidu.internal |
上海 | fsh.baidu.internal |
- 配置完成后,返回产品继续创建集群即可;