日志配置说明 - MapReduce BMR_全托管Hadoop/Spark集群
日志配置说明 前提条件 已创建BMR集群，且选择了ClickHouse服务。 Clickhouse控制台日志配置 在 ClickHouse 服务配置页面的服务配置区域，您只需点击 server - config 页签，接着在搜索区域输入 “logger.”，就能在该页面查看或修改所有相关的日志配置项。 表一 参数说明 参数 描述 logger.level 日志的等级，默认等级为informatio
集群互信配置 - MapReduce BMR_全托管Hadoop/Spark集群
集群互信配置 工作准备 注意事项： 进行互信配置的两个集群的 nameservice 需要不同，BMR 默认 nameservice 为 bmr-cluster 本文以 BMR 跨域访问 CDH 集群中的服务为例。配置完成后，BMR 在获取到本集群 KDC 授予的TGT（Ticket Granting Ticket）后，能够跨域访问 CDH 中的服务。 本文配置的跨域互信是单向的，即 CDH 无法
Hive连接方式 - MapReduce BMR_全托管Hadoop/Spark集群
Hive连接方式 本文介绍 BMR 集群如何连接 Hive 提交 Hive SQL，具体方式包括 Hive 客户端、Beeline 客户端、Java。 前提条件 已创建 BMR 集群，且选择了 Hive 服务，创建集群详情请参见 创建集群 。 用户如需使用安全模式集群，在创建集群时，需将安全模式开关设置为开启。 通过Hive客户端连接 普通集群 SSH登录集群，参考 SSH连接到集群 。 执行 h
Hive基础操作 - MapReduce BMR_全托管Hadoop/Spark集群
Hive基础操作 本文介绍如何通过 Hive 在 BMR 集群上进行库、表操作 前提条件 已创建 BMR 集群，且选择了 Hive 服务，创建集群详情请参见 创建集群 。 库操作 注意：示例中的数据库名称以testdb为例介绍。 创建库 create database if not exists testdb; 当返回信息包含OK时，表示创建库testdb成功。 查看库 desc database
从Spark导入 - MapReduce BMR_全托管Hadoop/Spark集群
从Spark导入 将Apache Spark与ClickHouse集成 连接Apache Spark和ClickHouse有两种主要方式： Spark连接器-Spark连接器实现了DataSourceV2，并具有自己的目录管理。截至今天，这是集成ClickHouse和Spark的推荐方式。 Spark JDBC-使用JDBC数据源集成Spark和ClickHouse。 Spark连接器 此连接器利
联合查询示例 - MapReduce BMR_全托管Hadoop/Spark集群
联合查询示例 前提条件 已完成创建 BMR 集群，并且配置了 Paimon、Spark 组件，详情请参见 创建集群 。 操作示例 基于Hive元信息联合查询 SSH登录集群，参考SSH连接到集群。 创建 Paimon 表，参考以下命令： spark-sql USE paimon; USE default; drop table if exists spark_paimon; -- 如果没有 buc
权限策略配置 - MapReduce BMR_全托管Hadoop/Spark集群
权限策略配置 用户在创建集群时，选择了 Ranger 服务，则 BMR 自动为用户进行权限相关的Service 配置，用户可通过 Ranger UI 调整权限策略 前提条件 已创建 BMR 集群，且选择了 Ranger 服务，创建集群详情请参见创建集群. 操作步骤 登录 Ranger UI，参考 Ranger概述。 在 Ranger UI 页面，单击配置好的 Service，例如图中 hadoop
故障类问题 - MapReduce BMR_全托管Hadoop/Spark集群
故障类问题 作业运行失败怎么办？ 可以在集群的作业列表中，找到运行失败作业的日志，分别为syslog、stderr、stdout三个日志。其中Syslog日志记录了作业运行的信息，stderr记录了作业运行失败的原因，stdout记录了作业运行的过程中输出的信息。通过查看stderr日志，找到作业运行失败的原因并进行修复，再次运行作业。 作业为什么会运行失败？ 1：作业在BOS中的输入目录不存在或
计费类问题 - MapReduce BMR_全托管Hadoop/Spark集群
计费类问题 BMR如何进行收费？ BMR的计费规则请参见产品定价。 费用不足，用户该如何充值？ 用户可以到【财务中心】下，购买需要的服务。 充值时，一次性充多少钱可以满足用户处理数据的需求？ 在增加各种类型的作业，到确认订单页面后，会显示预计所需要的花费。可以依此为参照，到【财务中心】菜单下，购买BMR服务。
Sqoop应用文档 - MapReduce BMR_全托管Hadoop/Spark集群
Sqoop应用文档 场景描述 通过BMR Sqoop可以将RDS上的数据导入BMR Hive: 在本示例中，hive数据表的location为BOS路径，hive数据表的partition为dt（string），根据dt指定日期，区分每一天的导入数据。 说明 由于hive数据表的location为BOS，无法直接通过sqoop将RDS的数据导入hive，因为hive在加载数据时，会先将数据写入本地
