例如,一个文件的长度为3KB,则计算为4KB;③文件空洞不计算入存储空间,文件空洞是指没有实际写入文件的字节。
存储路径管理 进入EasyDAP,单击侧边导航 数据治理>数据湖 进入存储路径管理。 存储路径管理列表 在列表展示已创建的存储路径,可在列表查看存储路径的详细信息。 单击添加按钮创建存储路径,填写相关配置项后单击确定可创建完成。 表一 列表展示项说明 展示项名称 描述 名称 存储路径的名称,创建存储路径时填写的名称。
存储路径申请 存储路径是指,数据湖指定的存储路径,用于数据表数据存储 通过“存储路径申请”功能,普通用户可以申请访问和操作特定存储路径的权限,确保数据安全并防止未经授权的访问。授权时长可根据需要灵活设置,以满足不同场景的需求。 存储路径申请 单击权限申请按钮,弹出批量申请弹窗,用户可选择特定的存储路径并为其申请读取、写入、创建和管理权限。
存储路径权限 支持管理员管理存储路径权限,对存储路径权限的访问和操作权限的控制,防止未授权访问,授权时长灵活可控。
创建文件系统 使用百度智能云文件系统 CFS 服务,需要先创建一个文件系统。 进入百度智能云管理控制台的“文件系统CFS->文件系统列表”页面,在页面左上角点击“新建文件系统”,在弹窗中进行创建文件系统的各项参数配置,完成文件系统的创建。具体购买界面及选择参数如下: 参数 说明 文件系统名称 用户根据需求设置需要创建文件系统的名称。 备注信息 用户根据需求设置实例备注信息,限制256字符。
删除文件系统 注意:需先删除文件系统已有的挂载点,才可对文件系统进行删除。 删除挂载点:点击文件系统列表操作栏的“管理”按钮进入详情页,对文件系统现有挂载点进行删除操作。 在文件系统列表页,点击操作栏的“删除”按钮,即可对对应文件系统进行删除。
taskList :该参数需要填写 任务列表文件的绝对路径 。 任务列表文件 中包含了一个或多个任务,这些任务是预先处理好的,每个任务对应一个 object_list文件的绝对路径 ,每个object_list文件中的每一行对应一个最小粒度的数据迁移。
上传超过5GB大小的文件。 网络条件较差,和BOS的服务器之间的连接经常断开。 需要流式地上传文件。 上传文件之前,无法确定上传文件的大小。 下面将一步步介绍Multipart Upload的实现。假设有一个文件,本地路径为 /path/to/file.zip ,由于文件比较大,将其分块传输到BOS中。
使用限制与建议 使用限制 CFS产品有如下配额限制: 限制项 限额 单用户可创建文件系统数 20个 单个文件系统容量 100PB 单个文件系统文件数 1000亿个 单个文件大小 1PB 目录深度 1000级 软链接路径长度 4080字节 文件名长度 255字节 同时连接的客户端数量 数百个 使用建议 1.单目录下最大文件数或子目录数不要超过1000万。