湖仓一体概述 湖仓一体之前,数据分析经历了数据库、数据仓库和数据湖分析三个时代。 首先是数据库,它是一个最基础的概念,主要负责联机事务处理,也提供基本的数据分析能力。 随着数据量的增长,出现了数据仓库,它存储的是经过清洗、加工以及建模后的高价值的数据,供业务人员进行数据分析。 数据湖的出现,主要是为了去满足企业对原始数据的存储、管理和再加工的需求。
CREATE INDEX 描述 为表创建新的索引,必须指定表名和索引名,可选指定索引类型、属性、注释。
BackendIds:分桶中数据分片所在的 BE 节点 id 列表。 备注: 以上命令需要 ADMIN 权限。暂不支持普通用户查看。 修改表 Colocate Group 属性 可以对一个已经创建的表,修改其 Colocation Group 属性。
读取设置 1.点击读取设置旁边“+”按钮,在读取列表中可以在单个同步任务中批量选择多个数据库和表进行读取,还可以在编辑阶段向任务添加更多表。 图一 选择读取列表界面 !
CLIENT 运行connector使用SHOW MASTER STATUS,SHOW SLAVE STATUS,SHOW BINARY LOGS命令 SQL Server 1.开启数据库cdc Plain Text 复制 1 -- 选择要开启cdc的数据库 2 USE ${database} 3 GO 4 -- 执行procedure 5 EXEC sys.sp_cdc_enable_db 6
Example 查看 jack 用户的属性 SQL 复制 1 SHOW PROPERTY FOR 'jack'; 查看 jack 用户连接数限制属性 SQL 复制 1 SHOW PROPERTY FOR 'jack' LIKE '%connection%'; Keywords Plain Text 复制 1 SHOW, PROPERTY
当变量 enable_ext_func_pred_pushdown 设置为 true,会将 where 之后的函数条件也下推到外部数据源,PALO 会自动识别部分 MySQL 不支持的函数,可通过 explain sql 查看。
SQL 复制 1 SHOW [ALL] ROUTINE LOAD 2 [FOR [db.]job_name] ALL:如果指定 ALL 关键词,则会显示所有正在运行的和已经停止的作业。否则,仅显示 非STOPPED 状态的作业。 db:如不指定数据库,则默认展示当前数据库下的作业。
AWS_REGION" = "oss-cn-beijing" 12 ); 这里说明以下属性的获取方式: AWS_ACCESS_KEY / AWS_SECRET_KEY :可在 阿里云AccessKey管理 中创建和查看。
示例 如 /dbs 展示所有数据库,而 /dbs/10002 展示 id 为 10002 的数据库下的所有表 SQL 复制 1 mysql> show proc "/dbs/10002"; 2 +---------+----------------------+----------+---------------------+--------------+-----