自动驾驶数据处理:自动驾驶任务会产生大规模中间数据集和日志,可定期清理或沉降至低成本存储。 科研计算/HPC:项目类任务通常生成大量临时计算文件,需要在任务完成后自动清理空间。 长期归档与多温分层存储:针对历史数据集、过期日志、老模型数据等,通过转存或沉降降低成本。 通过设置生命周期规则,可实现目录级别的数据精细治理,帮助您大幅降低存储开销、提升数据管理效率。
文件存储 CFS 文件存储 CFS只包含实例监控(Instance)1种监控对象,实例监控包含的监控指标列表如下: 实例监控(Instance) 指标英文名称(Metric name) 指标中文名称 单位 维度 备注 Capacity 存储容量 bytes FsId FileNum 文件数 个 FsId MetaReadErrorCount 元数据读io错误 次每分钟 FsId MetaReadQpsNew
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备。
BosClientConfiguration是BOS服务的配置类,可以通过BosClientConfiguration对基本网络参数进行设置。 设置网络参数 您可以使用BosClientConfiguration对基本网络参数进行设置。
fsspec-bosfs 概述 fsspec-bosfs (以下简称 bosfs) 是一个基于 Python 接口的文件系统实现,用以便捷访问百度云对象存储 BOS 服务。通过 bosfs,用户可以使用标准的 fsspec 接口操作存储于 BOS 中的数据。
上传回调 对象存储BOS在完成文件(Object)上传时可以提供回调(Callback)给应用服务器。您只需要在发送给BOS的请求中携带相应的Callback参数,即可实现回调。 使用场景 上传回调的一种典型应用场景是结合授权第三方上传时使用。适当使用上传回调机制,能有效降低客户端的逻辑复杂度和网络消耗。
存储分析 操作场景 用于查看集群中的磁盘使用情况,可针对具体节点通过使用量排名、使用量大小以及使用量占比三个维度分析节点中磁盘的使用情况。 操作步骤 登录 消息服务 for Kafka控制台 进入集群列表页面。选择具体的集群单击集群名称,进入集群详情。 在左侧导航选择 存储分析 ,可以看到集群当前所有节点上的磁盘使用的相关信息。 单击某节点右侧的 分析按钮 可以查看该节点分析详情。
计费案例 本文以案例形式介绍并行文件存储PFS费用的计算方法。 说明:以下计费示例仅供参考,实际价格以您PFS购买页面为准。
新建权限组 存储网关(Baidu Storage Gateway,BSG)支持通过控制台设置权限组和权限组策略。 操作步骤 1. 登录 存储网关控制台 。 2.在左侧导航中,选择权限组 。页面上方点击“新建权限组”。 3.设置权限组 。 设置权限组基本信息 : 权限组名称:请输入权限组名称。 选择共享文件目标类型:您需要选择共享文件目标的类型为 NFS 或者 SMB。
前提条件 已开通文件存储CFS服务。首次登录 文件存储CFS控制台 时,需要根据页面引导开通CFS服务。 已创建目标BCC实例,用于挂载CFS文件系统。BCC创建方式请参见: 快速配置Linux云服务器 。 挂载操作步骤 步骤一:创建CFS文件系统 在CFS控制台,单击“新建文件系统”。 在新建文件系统面板,填写文件系统名称、可用区、协议类型、存储类型等信息。