图一 离线开发可视化作业概览 表一 可视化作业概览描述 功能区域 描述 选择作业 区域1用于快速切换不同作业 任务开发列表 区域2是任务开发列表。 系统默认作业文件是 任务开发 。在此区域可以新建作业或新建文件夹。支持按照文件名称搜索作业,并且可以定位作业。同时支持导入/导出文件(文件大小不超过200M的zip文件)。 插件列表 区域3展示作业对应插件或者开发面板。
限制说明 应用限制 类型 说明 源端限制 待同步的表需具备主键或唯一约束,且字段具有唯一性,否则可能会导致目标数据库中出现重复数据。 如同步对象为表级别,单次同步任务支持的表数量有限,当超出数量限制,任务提交后会显示请求报错,此时建议您拆分待同步的表,分批配置多个任务,或者配置整库的同步任务。
基本信息包括表名称、数据库等。 表一 表详情基础信息说明 字段名称 字段名称 表名称 表英文名 表中文名 采集表描述,作为表中文名 数据库 表所属数据库 创建时间 元数据创建时间 更新时间 元数据采集任务更新时间 类型 元数据的表类型。包括:物理表、映射表、外部表 创建人 采集任务的创建人 湖格式 元数据表所属的湖格式 数据标签 普通用户可以使用标签管理中已创建的标签对数据表打标签。
这样,可以展平嵌套的JSON对象或使用一些嵌套的值将它们保存为单独的列。
产品介绍 百度数据仓库 Palo (以下简称百度PALO)基于百度 PALO 团队开源的 Apache Doris 数据库构建的 MPP 架构云数据仓库,支持海量数据高效导入、实时更新,能够同时满足企业对报表与 OLAP 分析两类不同需求,能够以较低的成本提供在PB级别数据集上的高性能分析和报表查询功能。帮助企业快速且低成本地构建极速易用的云上数据分析平台。
SELECT 条件,示例:n1,n2 fieldWhitelist N 列过滤(白名单),符合条件的列将被保留,支持数据库标准 SQL SELECT 条件,示例:n1,n2 where N 行过滤,符合条件的行将被保留,仅支持数据库标准 SQL WHERE 条件,Oracle 数据库注意区分字段名大小写。
支持,但需要走公网,所以BCC自建数据库或RDS实例需要有公网IP。 同一个账号下的两个RDS实例下的不同数据库,能否进行数据迁移? 可以,DTS支持库表映射功能,可以实现不同RDS实例下不同库名的数据库间的数据迁移。 DTS迁移过程中,是否会覆盖目标库中同名的表数据? 不会。DTS迁移前会执行检查,如果目标库中存在同名的表则不能执行该任务。
TSDB 、 数据可视化Sugar BI 相关产品 时序时空数据库TSDB 用于存储和管理时间序列数据及地理空间数据的专业化数据库,提供分布式云端数据库服务 流式计算 流式计算提供云端的流式数据实时处理的完全托管式服务 消息服务 for Kafka 消息服务 for Kafka提供全兼容Apache Kafka的分布式、高可扩展、高通量的消息托管服务 数据可视化Sugar BI 自助BI报表分析和制作可视化数据大屏的强大工具
WHERE 条件过滤支持对单张表进行设置,需要对多张表进行过滤时,对每张表分别进行设置即可。 列过滤与 WHERE 条件过滤的交互说明如下: 如果一个表进行了列过滤,用户同时还对该表设置 WHERE 规则,需要用户自行保证输入 WHERE 规则中的列名,包含在待同步的表中,否则 WHERE 规则可以设置成功,但后续任务启动后会报错。
点击“+添加上游”,打开添加弹窗页,选择“数据库类型”、“数据源连接”、“数据库”和“数据表”,选择完成后点击确认按钮。添加下游操作同理。 5、在上游表和下游表之间,可以分别在其末端和首端手动拖拽箭头进行血缘关系的连线;也可点击“自动匹配”按钮,快速连接上下游同名字段。若想清除某条线的连接,点击箭头并拖拽离开下游表单首端即可。 6、完成后点击页面下方“确认”按钮,完成手工填报操作。