百度智能云数据流转平台已支持文件系统(CFS、PFS)到 对象存储(BOS)、对象存储(BOS)到 文件系统(CFS、PFS)的数据流转。您可参考结合本文与 BOS数据 迁移来实现文件存储与对象存储迁移的数据流转 准备工作 开始迁移前,您需要在百度智能云 文件系统、云主机BCC、私有网络或专线中做一些准备工作。
1>rsync.log 将标准输出(stdout)重定向到rsync.log文件。 2>&1 将标准错误(stderr)重定向到标准输出(stdout),即将错误信息也重定向到rsync.log文件中。 msrsync的详细用法请参考: msrsync 。
创建元数据同步规则 概述 数据源创建完成后,非数据源挂载方式操作数据源绑定存储桶目录下对象,存储桶目录与数据源目录会存在不一致。如需将数据源绑定存储桶目录或其后代目录下的元数据信息同步至当前实例数据源目录树,可创建元数据同步规则。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
规则开启后将立即开启数据同步。 数据同步策略:若选择全量同步策略,则源 Bucket 文件发生新增/修改/删除操作的文件都将同步到目的 Bucket;若选择写同步,则只有源 Bucket 文件发生新增/修改操作时会同步到目的 Bucket,删除文件不会同步。 数据源设置 数据同步范围:可以将 Bucket 内全部文件同步到目标 Bucket,或者指定源 Bucket 文件前缀。
考虑到业务中大量的数据是可以根据场景分出冷热的。比如视频直播、新闻/内容平台、电商场景中,随着时间的推移,数据的价值和使用频率都在下降。所以可以将部分数据自动迁移到磁盘中,从而降低存储的整体成本。 为了解决性能和成本的平衡问题,百度智能云自研了 PegaDB。PegaDB 是在开源基础上自研的容量型 Redis 产品,相比内存型产品最多节省超过 90% 的存储成本。
注意事项 在执行全量数据迁移时将占用源库和目标库一定的资源,可能会导致数据库服务器负载上升。如果数据库业务量较大或服务器规格较低,可能会加重数据库压力,甚至导致数据库服务不可用。建议您在执行数据迁移前谨慎评估,在业务低峰期执行数据迁移。 名词解释 断点续传:断点续传是指将一个任务分成多个部分进行传输,当遇到网络故障或者其他原因造成的传输中断,可以延续之前传输的部分继续传输,而不用从头开始。
专线迁移MongoDB分片集迁移到云数据库MongoDB分片集 创建任务 接口说明 创建任务。
当触发通用音视频转码应用时,BOS 将上传到 Bucket 中的音视频数据自动推送到百度音视频转码服务。转码完成后,BOS 会将结果推送到用户设定的接收 URL 中。
批量授权 支持管理员为用户或用户组批量授予存储路径的访问、管理权限,授权项: 字段 字段说明 用户或用户组 选择系统添加的用户或用户组进行授权 权限 读:可读取已选数据湖数据 写:可增加、删除和修改数据湖 新建:可在该数据湖建表 管理:可编辑、删除已选数据源链接 有效期 支持永久授权和临时授权 授予原因 输入授权的原因 查看权限 支持按照存储路径维度查看用户权限。