S3 兼容存储 Doris 提供两种方式从 S3 兼容存储 导入文件: 使用 S3 Load 将 S3 兼容存储 文件导入到 Doris 中,这是一个异步的导入方式。 使用 TVF 将 S3 兼容存储 文件导入到 Doris 中,这是一个同步的导入方式。 注意 S3 SDK 默认使用 virtual-hosted style 方式。
对于 uploadId 的存储,需要满足不受页面关闭的影响,比较理想的做法是存储在 localStorage 中。 本地存储 在保存 uploadId 时,我们需要为它指定一个 key ,让不同的文件、不同的上传过程区分开。
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备; 月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。
在自定义购买页面存储模块添加文件存储。 详细配置参数 配置参数 配置内容 文件系统 Linux系统仅支持选择NFS协议的文件系统。 Windows系统仅支持选择SMB协议的文件系统。 挂载地址 用于CFS和BCC间的网络连通,需要和BCC属于同一专有网络VPC。 如无选项,请为当前文件系统添加挂载点。具体操作,请参见 添加挂载点 。 挂载目录/盘符 从BCC上访问CFS的本地路径或本地盘符。
网页空间、存储空间、流量上限分别是什么意思? 网页空间:站点的页面文件在服务器上所占用的存储空间(不含图片、音频、视频) 存储空间:站点中所有的图片、音频、视频在服务器上所占用的存储空间 流量上限:所有访客访问您的站点会产生数据流量,可以理解为手机上网消耗的流量,所有的访客在访问网站时产生的流量总和就是网站访问流量,这个流量的上限就是网站流量上限。
使用S3-SDK访问对象存储 PALO 内置了 AWS S3 sdk,可以直接访问兼容 S3 API 的对象存储,如AWS S3,百度云对象存储 BOS,阿里云的 OOS 和腾讯云的 COS 等等。 通过 S3 sdk 访问对象存储可以不再依赖 Broker 组件。进一步降低 PALO 系统的运维复杂度。
点击选择创建存储网关的地域。 点击选择创建存储网关的可用区。 点击选择付费方式 网关配置 您需要选择网关的配置。 配置项 配置内容 网关名称 您可以自定义存储网关的名称,便于资源的标记和管理。
使用存储网关 创建完存储网关后,您可以使用存储网关。 设置公网服务 您可以变更存储网关的公网服务设置。若您在创建时设置了公网,您可以在网关创建完成后取消公网服务;若您在创建时未开通公网服务,您可以在网关创建完成后单独开通公网服务。 说明: -仅云端部署的存储网关可以配置公网,本地部署的存储网关不需要配置网络,本地部署存储网关的网络环境取决于您本地数据中心的网络环境配置。
CorsConfiguration字段数据结构说明 参数名称 参数类型 描述 示例值 allowedOrigins List<String> 存储允许的跨域请求的来源的容器。 allowedMethods List<String> 存储允许的跨域请求方法的容器。 allowedHeaders List<String> 存储允许的allowedHeaders容器。
使用存储网关 现在您可以通过NFS client或者SMB client挂载使用存储网关了。存储网关上可以同时关联多个共享目标,每个共享目标对应一个BOS Bucket。您对于共享目标的数据读写会首先缓存在存储网关本地,并异步地将数据同步到BOS上。