账单和用量查询 账单详情查询 登录MapReduce控制台,单击上方财务按钮。 进入财务中心可以查看订单管理和消费中心。 在左侧导航栏,选择消费中心 > 账单明细,可以查看账单的详情,包括服务的详细信息。
方案概述 本场景应用于数据流式处理,使用到BLS(百度Log Service)、BMS(百度消息服务)以及BMR(MapReduce)三个产品。 整个流程分为数据采集和数据计算两部分。 数据采集 数据采集过程通过BLS以及百度消息服务BMS实现。 创建消息服务BMS Topic 参考文档: 创建BMS主题 。
登录控制台,选择 产品服务->MapReduce-集群列表 ,进入集群列表页,点击 集群名称 进入集群详情页,在“工具下载”区点击下载 openvpn-conf.zip 。
变更配置计费说明 MapReduce 为您提供节点升配、节点扩容、磁盘扩容、节点缩容等服务,您可在使用过程中根据您的需求,对资源进行弹性升配或降配。
Hive 操作 Hbase 外部表 本示例使用 BMR-2.3.0(Hadoop: 3.1.1, Hive:3.1.0, HBASE: 2.2.7)来演示 Hive 操作 Hbase 外部表。其他版本操作应该类似。 1. 创建 Hbase 表 hbase shell 创建 hbase 表 hbase_hive_table。
操作步骤 在产品服务>MapReduce>集群列表页,单击被调整集群对应节点管理按钮,进入该集群的节点管理列表页。 节点管理支持对节点进行扩容、规格变更和磁盘变更。 目前 ClickHouse 支持对core节点进行扩缩容,单击扩容按钮在扩容配置处对实例数目进行增加,最大实例数为200,最低为2。 扩容结束后点击确认变更,系统跳转完成页。
操作步骤 在产品服务>MapReduce>集群列表页,单击被调整集群对应节点管理按钮,进入该集群的节点管理列表页。 节点管理支持对节点进行扩容、缩容、规格变更和磁盘变更。 目前 ClickHouse 支持对core节点进行扩缩容,缩容方式为按分片缩容。单击节点处缩容按钮在容配置处对分片数量进行填写。 填写完成后系统会跳转进行缩容检测界面,展示检测是否成功和预计被释放实例。
示例: 原字符串: this is an example for 测试 , 对应的规范字符串: this%20is%20an%20example%20for%20%E6%B5%8B%E8%AF%95 。 BMR产品编码要求 可解析内容,所有request/response body内容目前均使用UTF-8编码,后续会支持更多encoding类型。
以下示例展示了如何使用Spark SQL进行读取文件。示例如下: 示例1:Spark支持多种数据格式,本示例读取了JSON格式文件的数据,并输出为Parquet格式。
Hbase 表 hbase shell 创建 hbase 表 hbase_hive_table: hbase(main):004:0> create 'hbase_hive_table', 'cf' Created table hbase_hive_table Took 1.3137 seconds Hive 操作 进入 hive 环境 hive 设置引擎为 mr MapReduce