通过 Iceberg 表引擎,将 PALO 数据共享给其他上下游系统做进一步处理,构建 统一的开放数据存储平台 。 未来,Apache Iceberg 将作为 PALO 的原生表引擎之一,提供更加完善的湖格式数据的分析、管理功能。
5 ); 修改表的 Colocate 属性 SQL 复制 1 ALTER TABLE example_db.my_table set ("colocate_with" = "t1"); 将表的分桶方式由 Hash Distribution 改为 Random Distribution SQL 复制 1 ALTER TABLE example_db.my_table
SESSION_USER 描述 获取 PALO 连接的当前用户名和 IP,兼容 MySQL 协议。 语法 SQL 复制 1 session_user() 返回值 返回 PALO 连接的当前用户名和 IP。
SQL 复制 1 CREATE TABLE test_dynamic_partition( 2 order_id BIGINT, 3 create_dt DATE, 4 username VARCHAR(20) 5 ) 6 DUPLICATE KEY(order_id) 7 PARTITION BY RANGE(create_dt) () 8 DISTRIBUTED BY HASH(order_id
PLAN SELECT COUNT(*) FROM t1 JOIN t2 ON t1.c1 = t2.c2; 原始 SQL 的计划如下,可见 t1 连接 t2 使用了 hash distribute 即 DistributionSpecHash 的方式。
系统安全开发 安全开发基线 百度智能云制定了《安全开发指南》,明确应用软件在开发过程中应重点避免SQL注入、越权操作、账户安全、命令执行等安全基线问题;同时,《百度智能云服务特殊场景及解决方案》明确了百度智能云产品在数据库连接、多方认证、账号迁移、验证码、主机合规、API等多个特殊场景下的安全基线要求,并提供对应方案。原则上,所有百度智能云产品的研发及特殊场景应对需要遵守上述安全基线要求。
物化视图的使用场景 物化视图根据 SQL 定义计算并存储数据,且根据策略进行周期性或实时性更新。物化视图可直接查询,也可以将查询透明改写。它可用于以下几个场景: 查询加速 在决策支持系统中,如 BI 报表、Ad-Hoc 查询等,这类分析型查询通常包含聚合操作,可能还涉及多表连接。
物化视图的使用场景 物化视图根据 SQL 定义计算并存储数据,且根据策略进行周期性或实时性更新。物化视图可直接查询,也可以将查询透明改写。它可用于以下几个场景: 查询加速 在决策支持系统中,如 BI 报表、Ad-Hoc 查询等,这类分析型查询通常包含聚合操作,可能还涉及多表连接。
操作示例 SSH登录集群,参考 SSH连接到集群 ; 执行以下命令查看结果: Plain Text 复制 1 -- 用hive以外的用户时需要在ranger配置权限 2 spark-sql --master local[2] Plain Text 复制 1 USE paimon; 2 USE default; 3 drop table if exists spark_paimon; 4 -- 如果没有
该类型特别适合处理复杂的嵌套结构,这些结构可能会随时发生变化。在写入过程中,VARIANT 类型能够自动推断列的结构和类型,动态合并写入的 schema,并通过将 JSON 键及其对应的值存储为列和动态子列。 使用限制 支持 CSV 和 JSON 格式。