对于同步导入方式,返回结果即表示导入成功还是失败。而对于异步导入方式,返回成功仅代表作业提交成功,不代表数据导入成功,需要使用对应的命令查看导入作业的运行状态。 支持的数据格式 不同的导入方式支持的数据格式略有不同。
导入数据 目前 PALO 支持两种数据导入方式:BOS 文件导入 和 本地文件导入。 BOS 文件导入 BOS 是百度对象存储的简称。关于如何开通和使用BOS,可以参考 这里 。 PALO 通过名为 broker 的进程读取 BOS 上的数据并导入到 PALO 存储引擎中。
数据导入方式 创建数据集 完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方案上传文本数据:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 格式要求 本地导入 单文件。 压缩包。 BOS导入 文件导入:文件不超过50G,单次上传限制1000个文件。 目录导入。
数据导入方式 创建数据集 完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 格式要求 本地导入 压缩包(包含对话样本文件和关联图片集合)。 BOS导入 文件导入:压缩包(包含对话样本文件和关联图片集合)。
查看导入 Profile 用户可以通过以下命令打开会话变量 is_report_success : SET is_report_success=true; 然后提交一个 Broker Load 导入请求,并等到导入执行完成。PALO 会产生该导入的一个 Profile。Profile 包含了一个导入各个子任务、Instance 的执行详情,有助于我们分析导入瓶颈。
数据导入方式 创建数据集完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方式上传文本数据:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 文件限制 本地导入 如选择对象存储BOS:对文件大小和数量无限制。 如选择平台共享存储:单个文件/压缩包源文件大小,均不超过1G,所有文件数量不超过100。
无标注信息图片导入 进入数据导入界面,在数据标注状态中选择无标注信息 选择训练数据存储的文件夹,选择完成后数据集即导入完成 如需导入多个文件目录的数据,可多次导入 有标注信息图片导入 有标注信息导入支持以文件夹命名分类、VOC格式、COCO格式以及平台自定义格式四种 以文件夹命名分类导入 数据标注状态选择有标注信息,并选择标注格式为以文件夹命名分类 注:以文件夹命名分类仅支持图像分类任务 以文件夹命名分类方式导入
导入完成:ImportFinished · 导入失败:ImportFailed progress string 导入进度,说明: · 导入中:该字段值为当前导入进度,如XX % · 导入完成:该字段值为100% · 导入失败:该字段值为0 sizeMB float 数据集大小,单位为MB,例:0.01 sampleCount int 样本数 creator string 导入任务操作人 startTime
导入概述 在导入镜像前,您应该已经完成如下工作: 通读镜像导入说明,保证待导入的镜像满足各种限制和要求; 开通对象存储BOS。
Importing · 导入完成:ImportFinished · 导入失败:ImportFailed progress string 导入进度,说明: · 导入中:该字段值为当前导入进度,如XX % · 导入完成:该字段值为100% · 导入失败:该字段值为0 sizeMB float 数据集大小,单位为MB,例:0.01 sampleCount int 样本数 creator string 导入任务操作人