其他接口 其他接口 获取可用区列表 使用以下代码可以获取可用区列表。
跳过 CSV 文件中的行 有时,我们可能会在从 CSV 文件导入数据时跳过一定数量的行。
导入方式 支持的格式 Broker Load Parquet,ORC,csv,gzip Stream Load csv, gzip, json Routine Load csv, json
area : 物理 , complexity : 简单 } ] xlsx和csv格式 您也可以选择在xlsx和csv格式的SFT数据集中添加自定义字段,数据集首行的列名为自定义字段的键名(需由英文和数字组成)。以xlsx格式为例,上述样本可以通过添加 area 和 complexity 两列,来代表自定义字段。
csv文件 在表格中为一列,由表头定义prompt。 txt文件 格式要求为 prompt内容 。 压缩包 支持 tar.gz/zip 压缩包。 文件编码支持UTF-8。 数据导入方式 创建数据集 完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。
2 1,100,beijing,1.1 3 2,200,shanghai,1.2 4 3,300,guangzhou,1.3 5 4,\N,chongqing,1.4 前置过滤条件为: Plain Text 复制 1 列1>1,即只导入 列1>1 的数据,其他数据过滤掉
data数据 名称 类型 备注 successNum int 名单导入成功条数 failedNum int 名单导入失败条数 resList obj 导入明细 resList数据 名称 类型 备注 status boolean 导入的状态,true为 成功 bool exJson string 调用方的业务随路数据, 字符串,百度侧原文回传 reason string 失败原因 taskMemberId
从其他 AP 系统迁移数据 从其他 AP 系统迁移数据到 Doris,可以有多种方式: Hive/Iceberg/Hudi等,可以使用Multi-Catalog来映射为外表,然后使用Insert Into,来将数据导入 也可以从原来 AP 系统中导出数据为 CSV 等数据格式,然后再将导出的数据导入到 Doris 可以使用 Spark / Flink 系统,利用 AP 系统的 Connector 来读取数据
数据导入方式 创建数据集完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方式上传文本数据:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 存储类型:对象存储BOS 存储类型:平台共享存储 本地导入 文件限制:对文件大小和数量无限制。 文件限制:单个文件/压缩包源文件大小,均不超过1G,所有文件数量不超过100。
聚合模型的导入更新 这篇文档主要介绍 PALO 聚合模型上基于导入的更新。