对象存储 BOS 接口形式:HTTP接口 特点:多对一关系,支持一写多读;扁平结构,数据以对象形式存储,支持公网访问,适合海量数据存储和分发 适用场景:图片、视频、备份文件等读多写少的数据存储;数据分发、备份、大数据分析、音视频处理等 选用建议: 需要海量数据存储和分发:选择BOS 需要高性能块存储:选择CDS 需要共享文件存储:选择CFS 需要高性能并行文件系统:选择PFS 更多详细信息可参考:
描述信息 版本 必选,系统自动生成 版本描述 选填,对版本的描述 模型存储桶 必选,模型文件所在的BOS存储桶 存储路径 必选,模型在存储中对应的路径 模型指标 选填,配置模型指标,可用于模型及版本之间横向对比。
比如,资源管控:创建、删除一台BCC服务器;资源运维操作:停止、重启BCC服务器,不涉及资源生命周期的变更;只读:查看。 策略 用户权限的集合,定义了用户对云账户内的资源可以进行什么操作。 策略语法 策略的描述,每条策略关联一条 ACL,JSON格式。 资源 云服务呈现给用户与之交互的对象实体的一种抽象,如BCC实例,BOS存储桶。
规则类型 类型简介 缓存预热 创建缓存预热规则后,可触发缓存预热任务,将将数据源绑定存储桶目录或其后代目录下的数据缓存至 RapidFS 实例中 缓存淘汰 创建缓存淘汰规则后,可触发缓存淘汰任务,淘汰数据源绑定存储桶目录或其后代目录下的缓存数据 注意事项 实例、数据源皆已创建,并且数据源状态为 运行中 。 每个数据源下仅支持创建20条缓存管理规则。 操作步骤 按以下步骤在控制台创建缓存管理规则。
目标地域已存在可用资源队列、资源规格和可挂载的 PFS 存储。 若创建实例时无法选择 资源队列 或 存储挂载 ,请先完成资源池、资源队列和 PFS 存储准备后再继续。## PFS 目录结构规范 挂载目录建议采用统一规范命名并保持一致,可采用 /mnt/pfs/<project>/<user> 格式。
创建元数据同步规则 概述 数据源创建完成后,非数据源挂载方式操作数据源绑定存储桶目录下对象,存储桶目录与数据源目录会存在不一致。如需将数据源绑定存储桶目录或其后代目录下的元数据信息同步至当前实例数据源目录树,可创建元数据同步规则。
简介 背景 在模型训练场景中,由于训练程序需要极高的磁盘I/O吞吐,通常建议将训练数据集放置在并行文件存储PFS中以保障训练效率。而PFS的存储成本相对较高,不适合作为数据的长期持久化存储。因此,企业通常将海量数据集(冷数据)存放在成本更低的对象存储(BOS)中。
功能介绍 存储桶是对象存储用来存储对象当容器。对象存储提供了基于桶和对象的扁平化存储方式,桶中的所有对象都处于同一逻辑层级,去除了文件系统中的多层级树形目录结构。在对象存储中,桶名必须是全局唯一的且不能修改,即用户创建的桶不能与自己已创建的其他桶名称相同,也不能与其他用户创建的桶名称相同。桶所属的区域在创建后也不能修改。可以根据使用习惯、业务场景通过不同的使用方式来查创建桶。
EDAP非结构化数据入湖:使用pyspark提取pdf元信息下载并写入BOS存储 场景功能 基于非结构化文件在数据湖表中存储的元信息,使用PySpark任务批量拉取文件服务器中的pdf入湖。
点击提交 由于我们最终需要返回的是合并后的音频url,所以还会使用到百度的对象存储BOS,大家可以自行开通一下,创建一个桶用来存放文件及收集日志 然后回到函数计算CFC页面,点击刚刚创建的函数 配置函数日志存储 进入刚刚创建的函数详情页,点击“基本信息”,找到日志配置项,将其指向您在BOS中创建的Bucket,方便后续调试和追溯。