name String 是 数据集名称 storageType String 是 存储类型PFS:并行存储PFSBOS:对象存储BOS storageInstance String 是 存储实例 importFormat String 是 导入格式FILE:文件FOLDER:文件夹 description String 否 描述 owner String 是 所有者 ownerName String
示例参考 ,如需要自定义,可以在训练代码中指定 TRAINING_CONFIG 文件即可 模型权重& tokenizer准备 百舸平台已经在对象存储BOS中预置模型权重,您可以从对应地域的BOS路径中下载数据。
冲突策略 覆盖该文件:保留源数据集中的文件 跳过该文件:不导入该文件 保留两者:在目标数据集中同时保存两个同名数据文件| |目标数据集|当前操作的数据集| |目标数据版本|导入数据存储的版本,每个版本对应一个存储路径| 提交转储任务,在数据集详情的【转储任务】Tab页可以查看转储任务记录及状态。
二维码识别 接口描述 对图片中的二维码、条形码进行检测和识别,返回存储的文字信息及其位置信息 在线调试 您可以在 示例代码中心 中调试该接口 ,可进行签名验证、查看在线调用的请求内容和返回结果、示例代码的自动生成。
GetAccessLimit 限制IP单节点的每秒访问次数,针对所有的访问路径。
3. local_address路径请不要修改,保持共享存储路径为/chpcdata/。如更改可能导致计算节点无法读取网盘下载的文件。 4. local_upload_address上传网盘文件夹名称,请确保和本地文件夹名称一致。
logicalStartTime(dd)},示例输入文件路径:bos:/bucket-name/文件夹名称/${logicalStartTime(yyyyMMddHH)} 输出数据路径 输入BOS路径。
logicalStartTime(dd)},示例输入文件路径:bos:/bucket-name/文件夹名称/${logicalStartTime(yyyyMMddHH)} 输出数据路径 输入BOS路径。
还有另外一个问题,因为有多次的单个文件操作,中间可能会因为网络或者某个存储节点的原因导致一部分文件操作失败。如果中间出现失败,那就会有一部分的文件在原目录,有一部分的文件在目的目录,这时候会导致任务执行失败。 除了元数据的挑战之外,在数据面也有一些挑战。 第一个问题是 I/O 路径长。
通过 local tvf 访问 NAS 上的数据 NAS 共享存储允许同时挂载到多个节点。每个节点都可以像访问本地文件一样访问共享存储中的文件。因此,可以将 NAS 视为本地文件系统,通过 local tvf 进行访问。 当设置 shared_storage = true 时,PALO 会认为所指定的文件可以在任意 BE 节点访问。