PATH : $HADOOP_HOME /bin: $SPARK_HOME /bin 2.添加依赖 jar 包 下载 BOS-HDFS # 解压,拷贝到spark依赖路径 unzip bos-hdfs-sdk-1.0.3-community.jar.zip cp bos-hdfs-sdk-1.0.3-community.jar { SPARK_HOME } /jars # 访问BOS的一些必要配置
创建Bucket 概述 存储桶 Bucket 是用来存储 Object 文件的容器。在使用对象存储 BOS 服务之前,您必须先创建 Bucket。 存储桶 Bucket 具有若干配置属性。在创建 Bucket 时,您需要对部分 Bucket 属性进行配置,如 Bucket 名称、所属地域、默认存储类型和读写权限等,同时可以设置 CDN 官方加速,并对标签进行绑定。
EXPIRATION_IN_SECONDS 为指定的URL有效时长,时间从当前时间算起,为可选参数,不配置时系统默认值为1800秒。如果要设置为永久不失效的时间,可以将 expiration_in_seconds 参数设置为 -1,不可设置为其他负数。 TIMESTAMP 为可选参数,不配置时,系统默认TIMESTAMP为当前时间。
清理BOS存储空间 在删除镜像版本后,存储在实例关联的对象存储 BOS 内的镜像数据仍保留,如果不及时清理,会产生额外的费用。您可以使用制品清理功能,删除对象存储 BOS 内已失效的镜像版本相关数据,清理 BOS 存储空间,降低存储费用。本文将介绍如何使用制品清理功能,清理 BOS 存储空间。 注意事项 仅企业版实例支持清理BOS存储空间。
expirationInSeconds 为指定的URL有效时长,时间从当前时间算起,为可选参数,不配置时系统默认值为1800秒。如果要设置为永久不失效的时间,可以将 expirationInSeconds 参数设置为 -1,不可设置为其他负数。 如果预期获取的文件时公共可读的,则对应URL链接可通过简单规则快速拼接获取: http://$bucketName.
及更高版本)单个或批量文件的上传,下载,移动,复制,删除,重命名操作任务均可在任务管理中进行查看和管理 指定路径登录 用户登录时,在配置AK/SK登录的基础上,可选配置访问路径,路径访问方式支持单个存储桶或者具体存储桶下某个文件路径,该功能可实现通过桌面工具进行细粒度文件管理。
目前支持两种配置方式: 1)新建挂载点时选择已经配置好的权限组。 2)创建挂载点时默认权限组,配置好权限组以后,点击挂载点信息列表的【修改权限组】操作,进行权限组的配置。
PutUserQuota 接口描述 此接口用来设置用户的额度,额度包括总的Bucket数及各个Region总的存储容量,当前总的Bucket数最大值不能超过100,注意该接口只能被 主用户 调用。
RequestId: xxxxxxxxxxxxxx]] 在使用CMD工具时通过主账户使用,同时配置fullcontrol权限
该功能支持对您账号中存储桶(Bucket)数量上限,以及账号下存储桶的总容量与文件个数上限进行配置,实现对存储服务弹性能力的自定义控制。 配置管理: Bucket 数量 : BOS 支持为账号中 Bucket 数量上限进行自定设置。