在 BROKER LOAD 中我们也可以实现多多表的原子性导入。 对于表所附属的 [物化视图](TODO),也同时保证和基表的原子性和一致性。 Label 机制 PALO 的导入作业都可以设置一个 Label。这个 Label 通常是用户自定义的、具有一定业务逻辑属性的字符串。 Label 的主要作用是唯一标识一个导入任务,并且能够保证相同的 Label 仅会被成功导入一次。
数据集成 离线数据同步:Mysql——>EDAPDataLake ODS层,每天进行T-1增量更新;同步的数据库、表范围为关系建模中所有的模型。
1.2 Redis本质是哈希表 Redis 本身是一个键值对数据库,这种键值对的存储方式就是哈希映射(Hashmap)的一种体现,即通过键(Key)来快速查找对应的值(Value)。 一个哈希表,其实就是一个数组,数组的每个元素称为一个哈希桶。
数据源 数据源就是指数据库,可以是爱速搭内置的数据库,也可以是外部数据库,比如自己搭建的 MySQL 数据库。 数据模型 数据模型就是数据库中的表,爱速搭可以在线设计数据库表结构,自动对数据库表结构进行变更,可以建立多个表的关联关系。 流程 流程是指业务审批流程,可以控制每个节点的操作权限。 API 中心 API 中心是用于管理后端 http 接口。
https://bce.bdstatic.com/doc/bce-doc/ISUDA/image_c8bae21.png ) 因为爱速搭支持多环境,如果要实现多个环境间的数据隔离,最好每个环境一个单独的数据库,这样相互操作不会影响。 如果是不同步模式,则需要进行模型映射,将数据库中的表映射为爱速搭的模型。
申请库权限 选中需要申请的数据库,单击申请按钮,申请选中数据库权限: 字段 字段说明 所选数据库操作权限 支持申请读、写、新建、修改、删除、管理权限: 读:可读取已选数据库 写:可以增加、删除和修改数据 新建:可以在该库建表 修改:可以修改库下所有表结构 删除:可以删除库下所有表 管理:以上所有,此外还可以对该库/表进行编辑、权限审批、权限授予操作 有效期 配置申请的有效期,配置永久访问、临时授权,
填写问卷:其他用户用浏览器打开数据填报链接,即可进行内容填写。 查看数据和分析数据:问卷分发出去以后,Sugar BI会在该空间下创建一个「内置数据填报数据源」,该数据源与其他数据源一样,可用于创建数据模型,在报表和大屏中进行数据可视化展现。 操作步骤 新建数据填报 从空间工作台进入「数据填报」的管理页面,点击「新建数据填报」,填写表单,打开「外置数据源」开关,即可将问卷结果同步至指定数据库。
至此,Sugar成功连接PALO数据库 表一 配置项说明 配置项 配置项说明 数据源名称 创建一个数据源的名称以便于后续管理 描述 可以自定义描述,补充数据源的详细管理信息 数据库地址Host 在PALO集群详情页面-配置信息,给LeaderNode绑定Eip,填写这个IP地址即可(Eip需要用户自行购买并绑定) 端口 9030 数据库名 PALO中的数据库名称 用户名 PALO集群中创建的账号,管理员账号
基本信息包括表名称、数据库等。 表一 表详情基础信息说明 字段名称 字段名称 表名称 表英文名 表中文名 采集表描述,作为表中文名 数据库 表所属数据库 创建时间 元数据创建时间 更新时间 元数据采集任务更新时间 类型 元数据的表类型。包括:物理表、映射表、外部表 创建人 采集任务的创建人 湖格式 元数据表所属的湖格式 数据标签 普通用户可以使用标签管理中已创建的标签对数据表打标签。
支持,但需要走公网,所以BCC自建数据库或RDS实例需要有公网IP。 同一个账号下的两个RDS实例下的不同数据库,能否进行数据迁移? 可以,DTS支持库表映射功能,可以实现不同RDS实例下不同库名的数据库间的数据迁移。 DTS迁移过程中,是否会覆盖目标库中同名的表数据? 不会。DTS迁移前会执行检查,如果目标库中存在同名的表则不能执行该任务。