Flink 使用指南 Flink flink-bos-hadoop 是百度云对象存储系统 BOS 针对 Flink 的文件系统实现,并且支持了 recoverwriter 接口,Flink 可以基于该文件系统实现读写 BOS 上的数据以及作为流应用的状态后端。 安装 1.Flink 环境准备 以 1.15.0 版本为例。
- 资源创建成功 202 - 请求被接受,具体任务异步处理 204 - 请求成功处理,响应body为空json 206 - 返回部分资源,用户需要继续请求,如scan请求 304 - 命中ETag缓存 400 InvalidURI HTTP URI不合法,比如传递的表格存储 TableStorage
从Prefix开始到第一次出现Delimiter字符之间的objectKey称为:CommonPrefixes。 - Marker 是一个字符串,用来设定返回结果的起始位置。 设定Marker值之后,返回的Object会从Marker值之后按字母排序开始返回。 - 基本流程 创建ListObjectsRequest类的实例。
从prefix开始到第一次出现delimiter字符之间的objectKey称为:commonPrefixes。 - marker 是一个字符串,用来设定返回结果的起始位置。设定marker值之后,返回的Object会从marker值之后按字母排序开始返回。 - 基本流程 创建BOSListObjectsResquest类的实例。
进入数据流转页面 在数据湖存储加速工具 RapidFS 控制台左侧导航栏中选择 数据流转 ,进入数据流转列表页,并点击 缓存管理 ,进入缓存管理规则页面。
SignOption 字段为生成签名字符串时的选项,详见下表说明: 名称 类型 含义 HeadersToSign map[string]struct{} 生成签名字符串时使用的HTTP头 Timestamp int64 生成的签名字符串中使用的时间戳,默认使用请求发送时的值 ExpireSeconds int 签名字符串的有效期 其中,HeadersToSign默认为 host , content-type
在绑定文件存储CFS的操作栏中点击【查看账单】。 进入资源账单页面,选择需要查看账单的年月,会显示当前标签资源的消费信息。还可以通过组合筛选条件执行标签搜索,按标签键和值进行选择其他标签的消费详情,并下载相关信息。
单链接限速 单链接限速 对象存储BOS对单Bucket的公网带宽阈值为10Gbit/s,内网带宽阈值为50Gbit/s,当用户的上传或下载占用带宽达到带宽限制阈值时,会返回RequestRateLimitExceeded的错误码。为保证用户能够正常使用服务,BOS支持在进行上传、下载等行为时进行流量控制,保证大流量服务占用带宽不会对其他应用服务造成影响。
时间 合规保留到期时间 file1.pdf 2017 年 1 月 1 日 2021 年 12 月 31 日 file2.pdf 2018 年 1 月 1 日 2022 年 12 月 31 日 file3.pdf 2018 年 6 月 1 日 2023 年 5 月 31 日 设置合规保留 登录 对象存储
request_url 访问时需要带上 x-bce-date 字段,该字段尽量与生成签名时的 x-bce-date 字段相同,postman请求示例: 更多详情参考 生成签名字符串 。