目标端设置 类型 目前支持EDAP、Hive、Doris类型 数据源 根据选择的数据类型展示对应的数据源 数据库 根据选择的数据源展示对应的数据库 任务配置 资源配置 资源配置需要在 EDAP 界面上配置资源,选资源管理,找到合适的计算资源,点击计算资源右侧的绑定项目来绑定到该 EDAP 项目中 读取方式 批量读取 读取频率 定时读取和同步一次。默认为同步一次,定时读取可设置定时触发的周期性任务。
Scan 并行化 扫描数据是一个非常重的 IO 操作,它需要从本地磁盘读取大量的数据(如果是数据湖的场景,就需要从 HDFS 或者 S3 中读取,延时更长),需要比较多的时间。
查询优化 PALO 使用 parquet native reader 读取 COW 表的数据文件,使用 Java SDK(通过 JNI 调用 hudi-bundle) 读取 MOR 表的数据文件。
写入读取数据 表格创建完毕后,用户可在表格中写入/读取数据。 使用控制台写入/读取数据,宽表模式参见 数据管理 ,时序模式参见 数据管理 。 使用 API 接口写入/读取数据,宽表模式参见 行操作接口 ,时序模式参见 时序数据读写接口 。
具体变更如下: 分类 (原)计费项中文名称 (现)计费项中文名称 流量 读取流量 外网流出流量 CDN回源请求产生的流出流量 CDN回源流出流量 跨区域流出流量 跨区域复制流量 读写次数 标准-读取次数 标准存储-读取API调用次数 标准-写入次数 标准存储-写入API调用次数 低频-读取次数 低频存储-读取API调用次数 低频-写入次数 低频存储-写入API调用次数 冷存储-读取次数 冷存储-读取
行操作 单条写入 描述 写入一行数据。
数据源读 IOPS 次每秒 数据源最近1min内平均每秒处理的读请求个数 DataSrcWriteQueryPerSecond 数据源写 IOPS 次每秒 数据源最近1min内平均每秒处理的写请求个数 DataSrcReadThroughput 数据源读吞吐 bytes/s 数据源最近1min内平均每秒读取的字节数,包含读取缓存和读取远端存储两种情况 DataSrcWriteThroughput
读取设置 1.点击读取设置旁边“+”按钮,在读取列表中可以在单个同步任务中批量选择多个数据库和表进行读取,还可以在编辑阶段向任务添加更多表。 图一 选择读取列表界面 2.读取设置中,左上方默认为关闭“批量设置”的状态,点击左边的表,针对每个单表进行配置,通过下方的where语句过滤单表的数据,目前仅支持 logicStartTime 宏。
当前支持的监控项 指标名称 指标含义 单位 粒度 读取量 统计周期内平均读取吞吐量 MBps 60s 写入量 统计周期内平均写入吞吐量 MBps 60s 读取操作次数 统计周期内平均读取IOPS 次 60s 写入操作次数 统计周期内平均写入IOPS 次 60s 错误IO 统计周期内错误IO数量 次 60s 查看方法一: 进入 云监控 BCM 控制台查看。
Beats input plugin elasticsearch 从Elasticsearch集群中读取数据。 Elasticsearch input plugin generator 生成随机测试数据。 Generator input plugin file 从文件中读取数据 file input plugin http 通过HTTP或HTTPS接收单行或多行事件。