常见问题 一个账户下可以开通几个跟踪存储? 目前一个账户下仅支持开通一个跟踪存储。 操作记录支持存储到BOS存储桶吗? 支持,可建立跟踪集,将操作记录存储到BOS中,进行长时间的存储。 注意: 目前仅支持存储到bos bj 区域。 支持查询多久的操作记录? 默认支持查询180天的操作记录。
简介 背景 在模型训练场景中,由于训练程序需要极高的磁盘I/O吞吐,通常建议将训练数据集放置在并行文件存储PFS中以保障训练效率。而PFS的存储成本相对较高,不适合作为数据的长期持久化存储。因此,企业通常将海量数据集(冷数据)存放在成本更低的对象存储(BOS)中。
注意:使用RapidFS导入数据源前,需先开通百度智能云对象存储BOS。建议在开通RapidFS时一并开通BOS。开通完成后,RapidFS将自动获取您在BOS中的存储桶列表。
适用场景 数据分发:在文件(Object)上传至存储空间(Bucket)后,您可以通过文件 URL 将文件分享给第三方的百度智能云BOS存储桶。 准备工作 开始数据导入前,您需要在百度智能云 BOS 中做一些准备工作。 百度智能云BOS准备 预估分享数据 预估需要分享的数据,包括需要分享的存储量和分享文件个数。
文件夹管理 创建文件夹 您可以在已创建的存储桶中新建一个文件夹,使更方便对存储在对象存储中的数据进行分类管理。 登录管理控制台。 在页面左上角选择“产品导览 > 专有云 > 广目混合云管理平台 > 存储资源 > 对象存储”,进入对象存储页面。 在对象存储页面,选择“Bucket列表 > 文件列表”,进入文件列表。 在文件列表中,单击“新建文件夹”,在输入框中输入文件夹名称。
访问Bucket内文件出现404时,BOS返回的错误页面,文件需放置在存储桶的根目录下, 响应码用于配置返回错误文档时的HTTP响应码为404或200,默认为 404。 单击“确认”,完成托管配置。
字段 说明 名称 必填,数据集的名称 存储类型 必选,存储类型支持对象存储(BOS)、并行文件存储(PFS)、数据湖存储加速工具(RapidFS) 存储实例 必选,BOS存储桶/PFS实例/RapidFS实例 导入格式 必选,支持文件和文件夹 当导入格式为文件时,存储路径需选择一个文件,创建好的数据集将与此文件相对应,常用于直接指定到某个具体文件的数据集创建。
Endpoint 对象存储服务接入域名 / 访问端点,对应厂商对外存储访问地址。 bucket 存储桶名称,存放多媒体文件、结构化数据文件的目标桶标识。 AccessKey ID 存储访问身份密钥标识,用于接口鉴权,具备桶文件读取权限。 AccessKey Secret 存储访问密钥凭证,与 AccessKey ID 配对使用,加密存储于平台,前端不展示明文。
使用该接口时,需要注意以下事项 : 若数据源为跨账号 BOS 存储桶,需确保传入的 AK/SK 具备该 Bucket 的 READ、WRITE、LIST、MODIFY、GetObject 权限(或FullControl权限) 数据导入为异步任务,需要全量扫描数据源路径,文件数量越多,导入时间越长 操作前请确认数据源路径及权限配置,避免因权限不足或路径错误导致任务失败 请求结构 Plain Text
分桶信息 配置项 说明 分桶方式 选择分桶方式,可选范围为Hash分桶、Random分桶。 分桶列 当分桶方式为Hash分桶时,需填写此项。下拉选择分桶列,可选范围根据表模型展示。 分桶数 输入分桶数,最小数为1,最大数为100。 高级配置 配置项 说明 属性名称 填写数据表的自定义扩展属性标识。 属性值 对应 “属性名称” 的具体配置内容。 操作 单击 移除 按钮,可移除该表属性。