Impala 使用指南 Impala Impala 是用于处理存储在 Hadoop 集群中的大量数据的 MPP(大规模并行处理)SQL 查询引擎。 它是一个用 C ++ 和 Java 编写的开源软件。 与其他 Hadoop 的 SQL 引擎相比,它提供了高性能和低延迟。
新建缓存实例 开通数据湖存储加速工具 RapidFS 后,您需要先创建 RapidFS 缓存实例。 基本信息 您需要先选择预期使用的地域、可用区及网络选择。 配置项 配置内容 地域及可用区 即该缓存实例所在的地域 可用区 百度智能云根据当前资源情况默认分配一个可用区,用户可根据需求选择 RapidFS 缓存实例所在可用区。
数据处理及使用 生命周期管理 BOS支持用户对Bucket设置生命周期规则,以自动将过期的文件清除,节省存储空间。针对不同前缀的文件,用户可以同时设置多条规则。
查询模拟文件夹 由于BOS本身是一个( <Key>,<Value> )的存储系统,所以原则上并不会存在“文件夹”的概念,但您可以通过 Delimiter 和 Prefix 参数的配合进行文件夹功能模拟。
BCE CMD工具包 [2018-02-01] 版本号0.2.0 变更记录: 支持BOSAPI接口,包含Bucket ACL、生命周期、日志和默认存储类型等管理接口。 为sync 添加 exclude 和 include 过滤。 修复Bug。 BCE CMD工具包 [2017-12-27] 版本号0.1 变更记录: Bucket创建和删除,Object的上传、下载、删除和拷贝等功能。
变更存储策略 该接口用于变更集群磁盘存储策略。
如何选择CFS和PFS 百度智能云文件存储 CFS 和并行文件存储 PFS 提供了多种规格的文件系统,本文从规格、计费、性能、功能、协议/接口、使用限制、应用场景等方面介绍了 CFS 和 PFS 的对比情况,您可以根据实际业务需求选择合适的文件系统。 类别 文件存储 CFS 并行文件存储 PFS 概述 类 NAS 存储产品,支持标准文件访问协议(NFS 和 SMB),主要用于数据共享访问场景。
存储节点变更配置 变配入口 实例详情 在实例详情页面,配置信息模块,点击“节点变配”,跳转到“节点详情-存储节点”。选择需要变配的存储节点,点击“节点变配”,即可进行存储节点配置变更操作。 节点详情 在节点详情页面,存储节点模块,选择一个存储节点,点击“节点变配”,即可进行存储节点配置变更操作。
实践操作 历史存量数据跨云迁移 方式1:CloudFlow数据流转平台(推荐使用) 数据流转平台 CloudFlow 是百度智能云存储推出的存储数据全托管迁移平台,通过可视化配置的方式实现三方云到百度智能云的数据迁移。支持的迁移类型为三方对象存储数据到百度智能云对象存储,并支持对迁移任务的进度和结果进行查看。对失败的迁移任务,支持发起迁移重试,并支持对迁移任务发起中断、删除等操作。
而原始图片需要立刻被删除,释放存储空间。 当 Bucket 中有新的视频上传后,需要立刻进行内容黄反审核处理,违规的内容需要被立刻清除。 当 Bucket 中发生若干操作如 PutObject、DeleteObject 等,需要触发后续的自定义处理流程,可以通过 CFC函数计算的BOS触发器 来实现。