使用rsync从旧文件系统同步到CFS文件系统 本文档提供了一种基于 rsync 的数据同步方案,帮助用户将存储在本地机房、其它云厂商的文件系统数据备份或迁移到百度智能云CFS中。 以下假设被同步的文件系统已经挂载在一台或者多台服务器上,路径为 /old_fs 。 操作步骤 登录云服务器 在云服务器BCC上绑定EIP,从而拥有公网IP。 确保远端服务器可以通过ssh方式登录到BCC的公网IP。
创建文件系统 使用百度智能云文件系统 CFS 服务,需要先创建一个文件系统。 进入百度智能云管理控制台的“文件系统CFS->文件系统列表”页面,在页面左上角点击“新建文件系统”,在弹窗中进行创建文件系统的各项参数配置,完成文件系统的创建。具体购买界面及选择参数如下: 参数 说明 文件系统名称 用户根据需求设置需要创建文件系统的名称。 备注信息 用户根据需求设置实例备注信息,限制256字符。
PFS 与对象存储 BOS 深度联动,提供冷热数据分级存储能力,在保持海量数据在 BOS 中低成本存储的同时,获得高性能文件访问能力,适用于 AI 训练与推理、自动驾驶、高性能计算和视频渲染等场景。
删除文件系统 注意:需先删除文件系统已有的挂载点,才可对文件系统进行删除。 删除挂载点:点击文件系统列表操作栏的“管理”按钮进入详情页,对文件系统现有挂载点进行删除操作。 在文件系统列表页,点击操作栏的“删除”按钮,即可对对应文件系统进行删除。
备份 为了保护重要业务资产,文件存储CFS支持备份与恢复功能。CFS在备份文件系统数据时不进行文件系统快照,而是基于高效的文件系统扫描机制。在 CFS控制台 通过设置备份策略生成多份备份副本数据(首次全量备份,后续增量备份),并在数据丢失或受损时及时恢复文件。 费用说明 CFS 的备份功能当前处于免费试用期,待免费试用期结束进入收费阶段前会统一发布具体计费说明。
client.properties.s3 给定AWS S3的Object列表, 配置源端和目的端ak/sk等信息 从FDS迁移到BOS properties_examples/client.properties.fds 给定源小米生态云的Object列表, 配置源端和目的端ak/sk 等信息 从KS3迁移到BOS properties_examples/client.properties.ks3 给定源金山云
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域,已购买 云服务器BCC 实例(以下介绍将以CentOS操作系统为例),详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽,请根据业务需求配置适当的网络带宽。
上传超过5GB大小的文件。 网络条件较差,和BOS的服务器之间的连接经常断开。 需要流式地上传文件。 上传文件之前,无法确定上传文件的大小。 下面将一步步介绍Multipart Upload的实现。假设有一个文件,本地路径为 /path/to/file.zip ,由于文件比较大,将其分块传输到BOS中。
在早期的 NFS 版本(NFS 3 及以前)中,并不能保证服务端继续保留该文件,因此,内核采用了一个小技巧,在删除的时候将文件重命名为 “.nfsXXXX” 这样的隐藏文件,当不再使用的时候删除。这就是所谓的 “silly rename” 机制。如果发生客户端宕机或者网络中断,可能导致客户端没有成功删除掉 .nfsXXXX 文件,这些文件就残留了下来。