Hive示例 前提条件 已完成创建 BMR 集群,并且配置了 Paimon、Hive 组件,详情请参见 创建集群 。 注意事项 由于 Paimon 已经放到 ${HIVE_HOME}/auxlib 目录,所以不需要使用 add jar 就可以直接操作 spark 创建的 paimon 表。 Hive 不能使用 TEZ 引擎插入数据,并且需要关闭 cbo。参考以下命令: set hive.execu
基础使用 Spark SQL 基础操作 Spark SQL允许用户直接运用SQL语句对数据进行操作,在此过程中,Spark会负责对SQL语句进行解析、优化以及执行。 以下示例展示了如何使用Spark SQL进行读取文件。示例如下: 示例1:Spark支持多种数据格式,本示例读取了JSON格式文件的数据,并输出为Parquet格式。 val peopleDF = spark.read.json(&q
客户端登录 操作步骤 远程登录到创建好的集群 ssh root@$public_ip 登录ClickHouse客户端 su - clickhouse clickhouse-client -m -u admin --password 集群密码 表一 clickhouse-client常用参数 参数 描述 -h 主机名 -d 数据库名 -m 客户端支持多行SQL输入以分号结尾,不指定该参数默认以回车作
退款说明 退订方式 预付费退订:系统将会收取您使用时长对应的消费金额,剩余服务时长的费用将退还至原账户,退款金额=订单金额-已消费金额。 后付费退订:系统将会收取您使用时长对应的消费金额,退订后,不再产生新的消费金额。
创建表 本地表 创建本地表 CREATE TABLE `check_local` ( `Id` UInt16, `Name` String, `CreateDate` Date) ENGINE = MergeTree() PARTITION BY CreateDate ORDER BY Id; 本地表插入数据 insert into check_local (Id, Name, CreateDat
Flink示例 前提条件 已完成创建 BMR 集群,并且配置了 Paimon、Flink 组件,详情请参见创建集群。 注意事项 BMR Flink 不使用 Hive Metastore 元数据,可以使用文件系统存储元数据,可通过 Hive 和 Spark 操作. 操作示例 SSH登录集群,参考 SSH连接到集群 ; 参考以下命令,启动 /opt/bmr/flink/bin/yarn-session
续费说明 续费方式 MapReduce目前支持自动续费和手动续费。使用预付费方式购买的包年包月集群,在集群状态为“运行中”或“已停服”时可续费。 表一 续费说明 续费类型 续费说明 自动续费 在 产品服务>MapReduce>集群列表 页,单击 自动续费 按钮进入续费管理。 手动续费 1.在 产品服务>MapReduce>集群列表 页,单击需续费集群对应的 续费 按钮,进入该集群的续费页。 2.选
引擎增强 Spark Native Engine 截止目前,Spark是一个运行在JVM上的大数据计算引擎,其计算性能依然有很大的提升空间。我们通过引入ClickHouse计算引擎实现了Spark性能的巨大提升,同时还能保证和现有Spark的兼容性。 基本原理 我们先以一段简单的聚合SQL为例,看下Spark是如何执行的 我们的SQL代码经过解析先在Driver中生成了执行计划,执行计划优化后最终
Spark示例 前提条件 已完成创建 BMR 集群,并且配置了 Paimon、Spark 组件,详情请参见创建集群。 注意事项 Paimon 的 JAR 文件已存放到 ${SPARK_HOME}/jars 目录; 默认使用 Hive Catalog; Hive 用户可以直接使用 Spark 创建的表; 启动 Spark 不需要添加 Paimon 相关参数。 操作示例 SSH登录集群,参考 SSH连
SQL转储 SQL转储 ClickHouse 可以通过多种方式轻松集成到OLTP数据库基础架构中。一种方法是使用SQL转储在其他数据库和ClickHouse之间传输数据。 创建SQL转储 可以使用SQLInsert以 SQL格式转储数据。ClickHouse将在 INSERT INTO <table name> VALUES(... 表单中写入数据并使用 output_format_s