PALO & Paimon Apache Paimon 是一种数据湖格式,并创新性地将数据湖格式和 LSM 结构的优势相结合,成功将高效的实时流更新能力引入数据湖架构中,这使得 Paimon 能够实现数据的高效管理和实时分析,为构建实时湖仓架构提供了强大的支撑。
返回值 根据不同查询场景,返回以下结果集: 不指定 FROM 子句时(展示数据库级别信息): 列名 说明 DbId 数据库 ID DbName 数据库名称 Size 数据库总数据量 RemoteSize 远程存储数据量 RecycleSize 回收站数据量 RecycleRemoteSize 回收站远程存储数据量 指定 FROM 子句时(展示表级别信息): 列名 说明 TableName 表名 IndexName
表一 查询分析列表项说明 列表项名称 列表项说明 SQL ID 每个 SQL 语句的唯一标识符,用于区分不同的 SQL 执行记录 SQL 类型 支持按照全部、查询和非查询进行筛选 用户名 执行该 SQL 语句的用户账号 Catalog 在数据库中,Catalog 通常是一个逻辑容器,用于组织和管理数据库对象 数据库 SQL 语句所针对的数据库名称 执行开始时间 SQL 语句开始执行的时间 运行时间
LIMIT <n> 指定输出行数限制,n 必须是数字。 权限控制 执行此 SQL 命令的用户必须至少具有以下权限: 权限(Privilege) 对象(Object) 说明(Notes) SHOW_PRIV 数据库(Database) 注意事项 目前只对倒排索引生效,其他索引如 bloomfilter index 不生效。 目前只对存算一体模式生效,存算分离模式不生效。
x3C;table_name> 要恢复的分区所在的表名称。 可选参数 恢复数据库 1. <db_id> 要恢复的数据库 ID。 2. <new_db_name> 恢复后新的数据库名称。 恢复数据表 1. <db_name> 要恢复的表所在的数据库名称。 2. <table_id> 要恢复的表 ID。 3.
Serverless2.0平台在技术选型上以百度智能云天合Stack的函数计算产品为核心,并与工商银行现有的分布式、云计算技术平台做对接,为应用提供完整的函数核心引擎、函数管理能力、开发交付能力。 在这个基础上,工商银行不断打造体系完备、服务能力领先的分布式技术架构,加速升级金融级云平台,为全行业应用云原生提供了最佳业务实践范本。
x3C;file_name> 填写本地文件路径,可以是相对路径,也可以是绝对路径。目前只支持单个文件,不支持多个文件。 2. <tbl_name> 表名可以指定数据库名,如案例所示。也可以省略,则会使用当前用户所在的数据库。 可选参数 1. LOCAL 指定 LOCAL 表示读取客户端文件。不指定表示读取 FE 服务端本地文件。
所有 catalog、数据库和表 catalog_name. . :指定 catalog 中的所有数据库和表 catalog_name.db.*:指定数据库中的所有表 catalog_name.db.tbl:指定数据库中的特定表 3. <resource_name> 指定 resource 名称。支持 % (匹配任意字符串)和 _(匹配任意单个字符)通配符。 4.
类型设置 当数据类型为DECIMAL时,需要填写类型设置,用于精度确认。 关联标准 字段支持关联数据标准,用于规范字段。 代理键 表示维度的唯一键,作用是连接维度表和事实表,为避免数据库结构发生变化带来影响。 允许空 是否允许为空。 密级 字段保密程度等级,支持L0-L4。 描述 字段描述,长度不能超过64个字符。 创建事实表 1.单击导航栏中的 数据架构>模型>维度建模>事实表 。
在 2.1 版本中,PALO 湖仓一体架构得到全面加强,不仅增强了主流数据湖格式(Hudi、Iceberg、Paimon 等)的读取和写入能力,还引入了多 SQL 方言兼容、可从原有系统无缝切换至 PALO。在数据科学及大规模数据读取场景上,PALO 集成了 Arrow Flight 高速读取接口,使得数据传输效率实现 100 倍的提升。