Plain Text 复制 1 df -Th 当查询结果中的文件系统容量和控制台容量一致时,表示扩容成功。 如下图所示,分区/dev/vdb1文件系统容量(40 GiB),表示扩容完成。
快速入门 本文介绍从开通服务到创建使用极速文件缓存RapidFS的完整流程,帮助您快速上手极速文件缓存RapidFS。 使用流程 1.开通RapidFS服务 新用户首次使用RapidFS前,请先完成百度智能云账号注册、实名认证,并在控制台开通RapidFS服务。
在语义层面,系统提供原生层级目录结构与完善文件语义,结合流式处理能力,为数据湖之上的批处理与实时分析提供更加高效、易用的基础支撑。 相关产品: 云服务器BCC 、 MapReduce 、 对象存储BOS
API概述 欢迎使用百度智能云极速文件缓存RapidFS,您可以使用API对RapidFS做灵活的操作。如果您对RapidFS还不太了解,请参考 产品介绍 、 产品规格 、 应用场景 等文档。 如果您是初次调用百度智能云产品的 API,可以观看 API入门视频指南 ,快速掌握调用API的方法。 RapidFS已接入API Explorer。
产品规格 极速文件缓存RapidFS提供两种部署模式:全托管模式和Master托管模式,您可根据业务规模、性能需求和运维方式等选择合适的部署模式和规格。 全托管模式 全托管模式下,用户无需自行购买Master节点和Cache节点,所有资源均由百度智能云平台统一托管。百度智能云团队负责RapidFS实例的部署、运维、可用性及稳定性保障,用户可以更专注于业务使用。
SDK参考 描述 本文提供百度智能云极速文件缓存 RapidFS SDK 的接入说明。当前 RapidFS SDK 已提供 Java、Go、Python 三种语言版本,开发者可根据项目技术栈选择对应 SDK 进行集成。 API Explorer 去调试 您可以前往 API Explorer 中调试相关接口。运行成功后,API Explorer 会自动生成 SDK 代码示例。
Tar文件解压 简介 解压tar文件算子 功能描述 tar文件解压, 支持批量处理 输入 输入 含义 默认值 base_path 支持传入base_path目录, 该目录下有多个子目录, 每个子目录有若干tar文件, 配合discover_datasets和create_tasks_from_datasets方法可便捷的将多个子目录数据集创建为多个task, 并发执行 无 输出 输入 含义 output_path
进入 极速文件缓存RapidFS控制台 ,点击 实例名称 进入实例详情页。 点击 监控与报警 ,可以查看缓存实例性能、缓存实例用量、缓存实例数据流转、数据源性能、数据源用量、客户端性能等监控。 具体监控指标说明参见 指标含义 。
缓存管理接口 RapidFS实例通过将底层对象存储的数据缓存到实例中加速访问,您可以通过缓存预热和缓存淘汰接口主动管理 RapidFS实例中的缓存。与元数据同步不同,缓存管理不是必选操作,这正体现了RapidFS的透明访问特性。 强烈建议您提前触发所需目录的缓存预热,特别是需要读取的文件存在大量MB级以下小文件时,缓存预热可以保证首次读取性能。
使用限制(极速型L2) 适用范围 仅适用于极速型 L2。 客户端限制 PFS客户端仅支持Linux(CentOS、Ubuntu)操作系统。下表为支持的操作系统版本信息。