文件版本控制:可管理代码、数据、模型等类型的文件 Python包管理:多人协作工作,避免安装包冲突 高扩展性:支持主流的文件系统,例如BOS和HDFS等 自研高性能计算引擎 内置百度自研的高性能计算引擎,提供机器学习和数据分析加速能力。
协议类型 用户根据需求设置需要创建文件系统的支持协议类型目前CFS支持NFS和SMB两种协议类型。 存储类型 文件存储CFS分为容量型和性能型两种,您可按需选择。 自定义容量 用户根据需要开启是否自定义容量,系统默认自动扩容,开启自定义容量后需手动调整容量上限。
使用rsync从旧文件系统同步到CFS文件系统 本文档提供了一种基于 rsync 的数据同步方案,帮助用户将存储在本地机房、其它云厂商的文件系统数据备份或迁移到百度智能云CFS中。 以下假设被同步的文件系统已经挂载在一台或者多台服务器上,路径为 /old_fs 。 操作步骤 登录云服务器 在云服务器BCC上绑定EIP,从而拥有公网IP。 确保远端服务器可以通过ssh方式登录到BCC的公网IP。
删除文件系统 注意:需先删除文件系统已有的挂载点,才可对文件系统进行删除。 删除挂载点:点击文件系统列表操作栏的“管理”按钮进入详情页,对文件系统现有挂载点进行删除操作。 在文件系统列表页,点击操作栏的“删除”按钮,即可对对应文件系统进行删除。
跨地域或账号使用文件系统 问题背景 一些情况下,用户有跨账号、区域使用文件系统的需求。典型的场景如下: 用户有好几个百度云账号,一个账号购买了 CFS,想要共享给另外一个用户使用; 用户在一个地域购买了文件系统,想从另外一个地域访问。 通常情况下,我们不推荐这样的使用方式。因为解决该类问题的原理是打通不同账号或区域的网络,只要网络通了,文件系统就可以被使用。
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域,已购买 云服务器BCC 实例(以下介绍将以CentOS操作系统为例),详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽,请根据业务需求配置适当的网络带宽。
查询文件系统 您可以通过 并行文件存储 PFS 控制台 查看当前已有并行文件系统的相关信息,并对已有并行文件系统进行管理操作,如查看实例列表及实例详情等。 实例列表 在实例列表中,可以查看现有并行文件系统的实例名称/ID、类型、状态、已用容量/总容量、可用区、VPC网络、标签等重要信息,各字段解释如下: 参数 说明 实例名称/ID 显示 PFS 实例的名称和ID。
存储容量 用户根据业务需求,预估文件系统的最大使用量,选择合适的存储容量确保文件系统有足够的容量。 用户设置好并行文件系统的各项参数配置后,单击“立即创建”,并行文件系统创建过程可能需要15-30分钟,如果超过30分钟请提交工单。
删除文件系统 当您不再使用某个 PFS 实例时,可以将其删除。 进入 并行文件存储 PFS 控制台 的实例列表页面。 找到需要释放的 PFS 实例,点击操作列的“释放”按钮。 按照弹框提示,点击“确认”完成对应 PFS 实例的释放。 注意 : 1. 释放 PFS 实例后,存储在 PFS 中的数据将被删除且无法恢复,请在释放前确认数据已不再使用。 2.
在BML平台使用并行文件系统PFS和对象存储BOS 在BML平台使用并行文件系统PFS 平台支持用户在用户资源池上关联 并行文件存储PFS 作为建模任务时的数据存储,当前支持使用并行文件系统PFS提交的任务: 自定义作业-训练作业任务、自动搜索作业任务 前提条件 用户在平台上已经挂载了容器引擎CCE资源作为用户资源池,点击了解 容器引擎CCE ; 用户已经创建了并行文件系统PFS,点击了解 并行文件系统