第 1 步:准备数据 创建 CSV 文件 s3load_example.csv 文件存储在 MinIO 上,其内容如下: Plain Text 复制 1 1,Emily,25 2 2,Benjamin,35 3 3,Olivia,28 4 4,Alexander,60 5 5,Ava,17 6 6,William,69 7 7,Sophia,32 8 8,James,64 9 9,Emma,37 10
可以是一个CSV文件或由多个CSV文件压缩成的zip包 单个上传文件大小不能超过5GB 一个数据集包含的总文件大小不能超过20GB 数据文件内容要求 当数据文件包含列名时,列名称可以包含字母、数字和下划线(_),但不能以下划线开头。
如为增量迁移任务,DTS 要求源数据库的 WAL 日志保存 24 小时以上,如为全量迁移和增量迁移任务,DTS 要求源数据库的 WAL 日志至少保留 7 天以上(您可在全量迁移完成后将 WAL 日志保存时间设置为 24 小时以上),否则 DTS 可能因无法获取 WAL 日志而导致任务失败,极端情况下甚至可能会导致数据不一致或丢失。
DROP DATABASE 在对应数据目录下删除数据库。 ALTER DATABASE 此事件的影响主要有更改数据库的属性信息,注释及默认存储位置等,这些改变不影响 PALO 对外部数据目录的查询操作,因此目前会忽略此 Event。 CREATE TABLE 在对应数据库下创建表。 DROP TABLE 在对应数据库下删除表,并失效表的缓存。
csv文件、更提供数据API接口支持第三方数据源接入; 提供丰富的可视化组件; 支持创作完成的仪表盘通过URL分享实现大屏展示; 提供代码一键集成至第三方应用 。
示例:将 tbl 表中的所有数据导出到本地文件系统,设置导出作业的文件格式为 csv(默认格式),并设置列分割符为 , 。
准备环境 环境要求 部署环境只需网络上可连接到 MySQL 数据库的机器即可,建议不要在待评估的数据库设备上运行。 部署环境最低应满足以下配置要求: 操作系统:Linux(其他操作系统暂不支持)。 网络:能够连接到待采集的源数据库。 CPU:1 core。 内存:4 GB。 硬盘:5 GB 空余。 PHP:已安装 PHP 5 及以上版本运行环境。
示例:将 tbl 表中的所有数据导出到本地文件系统,设置导出作业的文件格式为 csv(默认格式),并设置列分割符为 , 。
仅在 CSV 格式下有效。仅能指定单字节分隔符。 FORMAT AS 指定文件类型,支持 CSV、PARQUET 和 ORC 格式。默认为 CSV。 column list 用于指定原始文件中的列顺序。关于这部分详细介绍,可以参阅 列的映射,转换与过滤 文档。 (k1, k2, tmpk1) COLUMNS FROM PATH AS 指定从导入文件路径中抽取的列。
实时Flink作业操作 在作业运行过程中,可对作业进行不同操作,包括但不限于保存、发布和执行。 表四 实时Flink作业操作说明 操作项 操作说明 作业保存 单击面板上方 保存 按钮。 发布作业 单击面板上方 发布 按钮,可将当前作业提交为新的版本。发布完成后可在面板右侧 版本 中查看历史版本、执行版本回滚操作,同时将当前作业发布到 任务运维 中心。