发起数据集导入任务 注意: 为提升开发者使用体验,平台升级了数据集管理接口。推荐使用 数据集管理V2版本 接口,功能更全面、且接口更规范,详见 数据集管理API列表 ;本文内容不再更新,由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入V2版本接口。 功能介绍 本接口用于发起数据集导入任务。
发起数据集导入任务 注意: 为提升开发者使用体验,平台升级了数据集管理接口。推荐使用 数据集管理V2版本 接口,功能更全面、且接口更规范,详见 数据集管理API列表 ;V1版本相关接口不再升级,本文档于2024年8月30日迁移至历史文档;由于V1版本接口后续可能下线停止服务,为避免影响使用,建议接入V2版本接口。 功能介绍 本接口用于发起数据集导入任务。
对于同步导入方式,返回结果即表示导入成功还是失败。而对于异步导入方式,返回成功仅代表作业提交成功,不代表数据导入成功,需要使用对应的命令查看导入作业的运行状态。 支持的数据格式 不同的导入方式支持的数据格式略有不同。
导入数据 目前 PALO 支持两种数据导入方式:BOS 文件导入 和 本地文件导入。 BOS 文件导入 BOS 是百度对象存储的简称。关于如何开通和使用BOS,可以参考 这里 。 PALO 通过名为 broker 的进程读取 BOS 上的数据并导入到 PALO 存储引擎中。
数据导入方式 创建数据集 完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 格式要求 本地导入 压缩包(包含对话样本文件和关联图片集合)。 BOS导入 文件导入:压缩包(包含对话样本文件和关联图片集合)。
查看导入 Profile 用户可以通过以下命令打开会话变量 is_report_success : SET is_report_success=true; 然后提交一个 Broker Load 导入请求,并等到导入执行完成。PALO 会产生该导入的一个 Profile。Profile 包含了一个导入各个子任务、Instance 的执行详情,有助于我们分析导入瓶颈。
证书和私钥 概述 通过百度智能云申请证书的具体操作方法请参看 SSL证书服务 。 推荐您使用百度智能云证书申请服务,证书申请成功后将 自动 以高度加密形式导入到“证书管理”服务。您可通过不同服务的证书选择功能选择对应证书,快速部署服务。 如果是在“证书管理”添加第三方证书,请阅读下文,保证证书和私钥内容与格式正确。
要部署CSP以防止第三方混合内容,请使用以下配置: Content-Security-Policy: default-src https: 'unsafe-inline' 'unsafe-eval'; connect-src https: wss: 注意: 这不是部署 CSP 的最佳方法。为了提供不破坏混合内容以外的任何内容的示例,我不得不禁用某些默认安全功能。
数据导入方式 创建数据集完成后,在数据集管理页面中,找到该数据集,点击右侧操作列下的“导入”按钮,即可进入导入数据页面。 您可以使用以下方式上传文本数据:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 文件限制 本地导入 如选择对象存储BOS:对文件大小和数量无限制。 如选择平台共享存储:单个文件/压缩包源文件大小,均不超过1G,所有文件数量不超过100。
无标注信息图片导入 进入数据导入界面,在数据标注状态中选择无标注信息 选择训练数据存储的文件夹,选择完成后数据集即导入完成 如需导入多个文件目录的数据,可多次导入 有标注信息图片导入 有标注信息导入支持以文件夹命名分类、VOC格式、COCO格式以及平台自定义格式四种 以文件夹命名分类导入 数据标注状态选择有标注信息,并选择标注格式为以文件夹命名分类 注:以文件夹命名分类仅支持图像分类任务 以文件夹命名分类方式导入