规则的编辑页面如图所示,在数据来源处输入。 $iot/+/events (接受设备上报的状态消息) 注:可在”topic模板“中查询设置详情。 数据来源配置完毕后,进行数据目的地配置,点击“添加目的地”。 在第一栏选择“百度消息服务BMS”,选择自己的存储主题并点击“确认”,如果其中没有,可以通过“创建Kafka”进行自行创建。 此处输入需要设置的过滤规则,本次暂不设置过滤。
请求参数 名称 类型 必填 描述 name string 是 数据集名称,当创建新数据集时必传非空,示例:数据集名称 data_set_type DataSetTypeI(enum) 是 数据类型,可选值如下: · DataSetType.TextOnly:表示文本 · DataSetType.MultiModel:表示跨模态 project_type DataProjectType 是 标注类型
在“源端设置”区,根据源数据类型,选择不通的源端类型以及进行相应的配置; 4. 在“目的端设置”区,选择“Kafka”作为日志投递目的; 5. 在“主机列表”区,点击“添加主机”,选择安装好“收集器”的主机; 6. 在“主机列表”区,选择需部署该传输任务的主机,点击“创建”; 详细操作步骤请参考文档: 创建传输任务 。
Object 是 图表数据配置(详细描述见下方) - {} dataConfig 图表数据配置 参数名 类型 必填 描述 默认值 参考值 tableType String 是 表格类型(normal 普通表格、crossPivot 较差透视表) - normal/crossPivot dataModel Object 是 数据模型配置(详细描述见下方) - - dataModel 图表数据模型配置
前置检查项详细解释参见: 数据迁移操作指南-预检查 3.启动迁移 前置检查通过后,可以在任务列表页启动任务 4.检查Kafka集群数据 任务启动后,DTS将从源端数据库实例拉取到 全量基准 或 增量变更 数据,并以固定的格式写入目标端Kafka集群的指定Topic中。
接口调用成功后,会在 数据集管理 页面,新增一条数据集记录。例如,创建一条名称为“SFT_data_2024”的数据集,接口调用成功后,在数据集管理页面,可以查看到该数据集相关信息。
数据集导入 Swift会自动检测并从modelscope下载LLM微调所需的已注册数据集(见 https://github.com/modelscope/ms-swift/blob/main/swift/llm/utils/dataset .DatasetName),并存储在/root/.cache/modelscope/hub/datasets/下。
支持的数据流 支持的数据流 源端数据类型 目标数据类型 迁移类型 相关文档 自建 MySQL(支持TiDB) 版本:5.1、5.5、5.6、5.7、8.0 RDS MySQL 自建 MySQL(支持TiDB) 版本:5.1、5.5、5.6、5.7、8.0 RDS MySQL 结构迁移 全量迁移 增量同步 自建 MySQL 迁移至 RDS MySQL RDS MySQL 实例间的迁移 GaiaDB 结构迁移
响应参数 参数 类型 描述 status Int32 接口返回状态, 0表示成功,其他表示失败 message String 成功或错误提示 data JSON 消息列表 total Int32 事件总量,pageSize=1时返回总量total的数值,pageNum>1时total会固定为0 list Array 事件数组 +id String 消息存储数据库ID +topic String 固定为
类型转换函数 PALO 支持以下类型转换函数 cast CAST Description cast ( expr as type ) 功能:转换函数通常会和其他函数一同使用,显示的将expression转换成指定的参数类型。PALO 对于函数的参数类型有严格的数据类型定义。例如 PALO 不会自动将 bigtint 转换成 int 类型,或者其余可能会损失精度或者产生溢出的转换。