Impala使用指南 Impala Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比,它提供了高性能和低延迟。
有效请求 :BOS服务器端收到的请求视为有效请求,但不包括以下类型的请求: (1) 未通过BOS身份验证和鉴权失败的请求、欠费请求; (2) 跨区域复制(Region Replication)和生命周期管理(Lifecycle)的后端异步处理发起的所有请求; (3) 获取Bucket列表发起的所有请求; (4) 客户的应用程序受到黑客攻击而发起的请求。
storageClass Object的存储类型 可选 action为 Transition 时可以设定,取值为 STANDARD_IA 或 COLD 或 ARCHIVE ,表示从原存储类型转为低频存储或冷存储或归档存储。 响应元素 无特殊元素 响应头域 无特殊头域 注意事项 如果请求的源Bucket不存在,返回404错误,错误码为NoSuchBucket。
变更存储策略 该接口用于变更集群磁盘存储策略。
实践 关于bosfs性能与注意事项: bosfs基于fuse开发和进行挂载, 由于其框架接口的语义限制, 对挂载点内的本地文件的操作可能需要与BOS对象存储服务进行多次网络交互, 因此bosfs挂载点的实例与BOS endpoint之间的网络环境会影响bosfs的性能. bosfs提供了大量参数, 可根据自身使用的场景进行参数调优, 可参考 文档 bosfs操作并非原子的, 尤其是如使用多个bosfs
生命周期管理就是对象存储服务帮助用户自动化管理数据的生命周期。 通常可以服务于以下场景: 数据达到一定寿命后自动归档或删除。 指定时间执行操作。
生命周期管理就是对象存储服务帮助用户自动化管理数据的生命周期。 通常可以服务于以下场景: 数据达到一定寿命后自动归档或删除。 指定时间执行操作。 新建Lifecycle配置 基本流程 创建BosClient。
auth //公共权限目录 ├── http //Http请求模块 ├── services //服务公共目录 │ └── bos //BOS目录 │ ├──bos_client.py //BOS客户端入口类 │ ├──bos_handle.py //HTTP reponse处理函数 │ ├──canned_acl.py //权限控制需要的常量 │ └──storage_class.py //存储类型定义模块
BOS-FTP工具 简介 BOSFTP是一个基于Python实现的BOS的FTP server工具,将FTP协议的操作转化为对BOS中存储的对象、目录的操作。支持文件上传、下载、删除以及创建文件夹等操作。
适合用户能获取AK/SK的场景,该登录方式可选配置精确的存储桶或者访问文件路径,支持的功能广泛。 2. 文件夹分享链接与提取码方式。 适合仅能获取文件夹分享URL与提取码的场景,主要支持文件 / 文件夹的批量下载功能。 AK/SK登录 AK(Access Key ID)/SK(Secret Access Key)相当于百度智能云为用户分配的用户名和密码,用于对用户的调用行为进行鉴权和认证。