元数据同步接口 当您绕过RapidFS直接更新了底层对象存储数据时(例如通过对象存储工具/客户端/控制台更新了对象存储),您需要在RapidFS缓存实例对应数据源下触发元数据同步操作,才能在RapidFS实例内看到这些更新。直接通过RapidFS实例更新不需要该操作。RapidFS API当前支持元数据单次同步和周期同步两种同步规则。
缓存实例缓存换入吞吐 bytes/s 缓存实例从远端对象存储加载数据的吞吐,包含主动预热、边读边预热和缓存不命中的流量 CacheSwapOutThroughput 缓存实例缓存换出吞吐 bytes/s 缓存实例从本地淘汰缓存的吞吐,包含主动淘汰和基于容量限制被动LRU淘汰的流量 WarmupJobThroughput 缓存实例缓存主动预热吞吐 bytes/s 缓存实例从远端对象存储主动预热数据的吞吐
数据缓存 数据缓存 (Data Cache) 通过缓存最近访问的远端存储系统 (HDFS 或对象存储) 的数据文件,加速后续访问相同数据的查询。在频繁访问相同数据的查询场景中,Data Cache 可以避免重复的远端数据访问开销,提升热点数据的查询分析性能和稳定性。 原理 Data Cache 将访问的远程数据缓存到本地的 BE 节点。
type String 是 缓存管理规则类型,枚举值: WARMUP:缓存预热,将缓存从持久存储预热到 RapidFS 实例内; EVICTION:缓存淘汰,将已预热到 RapidFS 实例的缓存淘汰。 directory String 是 规则的目录前缀,为数据源目录的相对目录。 status String 是 缓存管理规则状态,见 CacheRuleStatus。
3、可在媒资库中对已存储的视频进行管理、分享、二次创作等操作 关闭状态(灰色未高亮): 1、代表当前配置为「临时存储」 2、新生成的 AI 视频仅保留 30 天,到期自动删除。 3、关闭后不会产生存储 / 分发费用,需留存的视频请在到期前手动下载备份
导入数据源 当您创建缓存实例后,您需要导入数据源,将对象存储(Baidu Object Storage,BOS)的存储桶或存储桶目录以数据源的形式导入缓存实例,以实现加速访问对象存储BOS。 准备工作 创建导入数据源前,请确认已创建了可用的缓存实例,详情请参见 新建缓存实例 。目前每个缓存实例下仅支持导入20个数据源。
action=cacheFullUrl 设置url参数缓存规则,指定url带参数缓存或者不带参数缓存 domain: 需要设置的CDN加速域名 请求体 参数 可选 类型 说明 cacheFullUrl 必选 Bool true和false,true表示支持全URL缓存,false表示忽略参数缓存(可保留部分参数) cacheUrlArgs 可选 String列表 cacheFullUrl为true时
RapidFS 支持将对象存储中的训练数据预热至高性能缓存,实现数百 GBps 吞吐与亚毫秒级读取时延;同时通过并行写与异步持久化机制,大幅缩短 Checkpoint 保存时间,降低 GPU 等待开销。此外,基于智能预热与淘汰策略,系统可实现冷热数据分层与透明流转,在保障性能的同时有效控制存储成本。
查询缓存 概念介绍 SQL Cache 是 Doris 提供的一种查询优化机制,可以显著提升查询性能。它通过缓存查询结果来减少重复计算,适用于数据更新频率较低的场景。 SQL Cache 基于以下关键因素来存储和获取缓存: SQL 文本 视图定义 表和分区的版本 用户变量和结果值 非确定函数和结果值 行策略定义 数据脱敏定义 以上因素的组合唯一确定一个缓存数据集。
查询缓存 概念介绍 SQL Cache 是 PALO 提供的一种查询优化机制,可以显著提升查询性能。它通过缓存查询结果来减少重复计算,适用于数据更新频率较低的场景。 SQL Cache 基于以下关键因素来存储和获取缓存: SQL 文本 视图定义 表和分区的版本 用户变量和结果值 非确定函数和结果值 行策略定义 数据脱敏定义 以上因素的组合唯一确定一个缓存数据集。