百度智能云是国内首家通过BS 10012认证的云服务商 权威资质概览 对象存储 BOS 连续 5年通过可信云认证,是国内首批通过中国信通院对象存储标准评测的产品。此外,BOS 还获得包括中国开源云联盟颁发的云计算卓越产品奖在内的众多奖项。
确认上传文件无误后,点击【下一步:高级配置(可选)】设置对象属性,支持为上传文件批量设置存储类型、访问权限、meta信息、标签,您可根据不同需求为上传文件设置不同的属性。确认无误后点击【上传文件】创建上传任务。 您可点击文件列表页顶部的【上传记录】按钮进入任务列表,查看上传任务进度及状态。
BOS 清单报告: BOS 可根据用户的清单任务配置,定期扫描用户 Bucket 中指定对象并输出一份清单报告,以 CSV 格式文件的形式存储到指定的 Bucket 中。如何设置清单可参见 设置存储空间清单 。 CSV 文件: 创建 CSV 格式的待处理对象清单列表。清单列表是记录所有待处理对象的列表文件,用于告知BOS待处理的文件。
但由于对象存储上层数据接口的限制,对象存储中数据和自建 HDFS 之间的访问和读写操作一直是大数据场景下的一个瓶颈,BOS HDFS 很好地解决了这个问题。 BOS HDFS 工具全面兼容 Hadoop 2.7+/3.1+ 系列,支持 HDFS 数据在 BOS 中的海量存储,并在上层数据运算中使用 HDFS 标准接口来对数据进行访问和读写,有效解决自建 HDFS 数据的高运维成本和低可扩展性问题。
访问控制 百度智能云对象存储BOS提供读写权限ACL、粗细粒度的自定义授权策略、防盗链白名单等功能,实现存储资源访问的控制和管理。 读写权限 BOS为权限控制提供访问控制列表(ACL)。ACL是授予Bucket和Object访问权限的访问策略。 您可以在创建存储空间(Bucket)或上传对象(Object)时配置ACL,也可以在创建Bucket或上传Object后的任意时间内修改ACL。
rclone 概述 rclone是一个管理云存储上文件的命令行程序,也是云供应商web存储接口的一个功能丰富的替代方案。超过70种云存储产品支持rclone,包括百度智能云对象存储(BOS)、企业和消费者文件存储服务以及标准传输协议。rclone在Linux、Windows和Mac上广泛使用,第三方开发人员可以使用rclone命令行或API创建备份、恢复、和业务流程解决方案。
注意事项 归档存储类型文件取回完成后才能转为其他存储类型; 通过Append上传的文件不支持转为归档类型; 冷/低频存储转化存储类型会产⽣数据取回费⽤,详情⻅ 请求费⽤ ; 低频存储、冷存储和归档存储类型⽂件具有不同最⼩存储周期,若未存满相应的最⼩存储周期,BOS⼀次性收取最⼩存储周期费⽤,详情见 存储费用说明 。 转换文件存储类型 登录 BOS 管理控制台 ,进入全局概览页面。
用户为存储桶添加文件解压缩规则后,当压缩文件上传到对象存储时,将自动触发对象存储为您预配置的云函数,自动将文件解压到指定的存储桶和路径中。 相关文档: 文件自动解压 Select扫描 Select 扫描功能的典型应用场景是大数据场景。您可以将大数据处理操作在云端完成,无需将数据下载到本地。
lt; value > bos:// { bucket } /hbase < /value > 4 < description > 此项用于设置持久化存储HBase数据路径,使用对象存储bos时,需设置为带 bos://{bucket}/ 前缀的路径
目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。 对非标准 Object 进行数据复制操作时,会触发取回费用。 目的 Bucket 文件的存储类型不支持归档存储。 规则添加成功后可以在列表中看到当前 Bucket 已有的同步策略,也可以编辑和删除。