Spark示例
更新时间：2025-01-23
前提条件
已完成创建 BMR 集群，并且配置了 Paimon、Spark 组件，详情请参见创建集群。
注意事项
- Paimon 的 JAR 文件已存放到 ${SPARK_HOME}/jars 目录；
- 默认使用 Hive Catalog；
- Hive 用户可以直接使用 Spark 创建的表；
- 启动 Spark 不需要添加 Paimon 相关参数。
操作示例
- SSH登录集群，参考SSH连接到集群；
- 执行以下命令查看结果：
-- 用hive以外的用户时需要在ranger配置权限
spark-sql --master local[2] USE paimon;
USE default;
drop table if exists spark_paimon;
-- 如果没有 bucket，对 spark 没有影响，hive 可以读，但是不能写入。
create table spark_paimon (
id int,
name string
) tblproperties (
'primary-key' = 'id',
'bucket' = '4'
);
INSERT INTO spark_paimon VALUES (1, 'spark-paimon-1'), (2, 'spark-paimon-2');
select * from spark_paimon;操作结果
