BOS Bucket的默认存储类型(如默认为低频存储,则导出数据亦为低频存储)。
数据沉降 适用范围 仅适用于极速型L2。 操作步骤 创建规则 登录 并行文件存储PFS控制台 。 点击PFS实例ID。 在左侧导航栏,选择 生命周期 。 在生命周期页,点击 创建规则 按钮。 在创建规则对话框中,配置如下参数。 参数 说明 规则名称 请输入规则名称。支持大小写字母、数字、中文、半角冒号(:)、下划线(_)或者短划线(-)。
这个时候,它的元数据访问性能是最优的,因为 RapidFS 的元数据不需要再跟对象存储产生任何的关系,它就是在本地的一个 VPC 内的一个存储服务。 数据面的缓存则是利用计算节点空闲的内存、磁盘资源,把这个热数据都缓存起来,加速业务的访问。
EDAP非结构化数据入湖:使用pyspark提取pdf元信息下载并写入BOS存储 场景功能 基于非结构化文件在数据湖表中存储的元信息,使用PySpark任务批量拉取文件服务器中的pdf入湖。
数据类型 Model对象定义 FileSystemModel 参数名称 类型 描述 fsId String 文件系统的id fsName String 文件系统的名称 type String 文件系统的存储类型 protocol String 文件系统的协议类型 zone String 文件系统所在可用区 capacityQuota uint64 文件系统容量quota,单位 bytes status
删除数据流动任务 描述 释放指定的数据流动任务 请求 请求结构 Shell 复制 1 POST /?
取消数据流动任务 描述 取消数据流动任务,任务取消后无法恢复。 请求 请求结构 Shell 复制 1 POST /?
目录为文件系统内的绝对目录路径(如/test,无需添加本地挂载路径如/pfs/<pfs-id>/test) 生命周期规则 基于文件最后一次访问时间设置生命周期规则。例如设置:最后一次访问时间 7 天后,系统自动执行 数据删除 。 该规则将删除指定目录及其子目录下的过期文件和过期空目录,且数据 删除后无法恢复 ,请谨慎操作。 规则执行时间 设置规则执行时间。
查询数据流动任务详情 描述 查看单个数据流动详情,只支持精确查询。 请求 请求结构 Shell 复制 1 POST /?
查询数据流动任务列表 描述 查看pfs实例的所有数据流动任务。 请求 请求结构 Shell 复制 1 POST /?