其他接口 其他接口 获取可用区列表 使用以下代码可以获取可用区列表。
中的文件 SQL 同步 Routine Load 从 kakfa 实时导入 csv、json 异步 MySQL Load 从本地数据导入 csv 同步 Group Commit 高频小批量导入 根据使用的导入方式而定 -
跳过 CSV 文件中的行 有时,我们可能会在从 CSV 文件导入数据时跳过一定数量的行。
导入方式 支持的格式 Broker Load Parquet,ORC,csv,gzip Stream Load csv, gzip, json Routine Load csv, json
area : 物理 , complexity : 简单 } ] xlsx和csv格式 您也可以选择在xlsx和csv格式的SFT数据集中添加自定义字段,数据集首行的列名为自定义字段的键名(需由英文和数字组成)。以xlsx格式为例,上述样本可以通过添加 area 和 complexity 两列,来代表自定义字段。
csv文件 在表格中为一列,由表头定义prompt。 txt文件 格式要求为 prompt内容 。 压缩包 支持 tar.gz/zip 压缩包。 文件编码支持UTF-8。 数据导入方式 创建数据集 完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。
csv文件 文件内单条数据在表格中为一行,由表头定义prefix和middle。 文件内单条数据在表格中为一行,由表头定义prefix、suffix和middle。 压缩包 支持 tar.gz/zip 压缩包。 文件编码支持UTF-8。 数据导入方式 创建数据集完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。
2 1,100,beijing,1.1 3 2,200,shanghai,1.2 4 3,300,guangzhou,1.3 5 4,\N,chongqing,1.4 前置过滤条件为: Plain Text 复制 1 列1>1,即只导入 列1>1 的数据,其他数据过滤掉
从其他 AP 系统迁移数据 从其他 AP 系统迁移数据到 Doris,可以有多种方式: Hive/Iceberg/Hudi等,可以使用Multi-Catalog来映射为外表,然后使用Insert Into,来将数据导入 也可以从原来 AP 系统中导出数据为 CSV 等数据格式,然后再将导出的数据导入到 Doris 可以使用 Spark / Flink 系统,利用 AP 系统的 Connector 来读取数据
基本配置:填写日志导入任务的名称或者 Kafka配置:可选择百度智能云kafka和自建kafka (1)百度智能云kafka:前提需要在百度智能云kafka平台开启产品间转储开关 配置 说明 集群 选择百度智能云kafka集群,可跳转新建kafka集群 主题 选择完集群后,选择对应主题,支持多选 消费组 Kafka 消费组。如果不填,系统将自动创建 Kafka 消费组。