S3 兼容存储 Doris 提供两种方式从 S3 兼容存储 导入文件: 使用 S3 Load 将 S3 兼容存储 文件导入到 Doris 中,这是一个异步的导入方式。 使用 TVF 将 S3 兼容存储 文件导入到 Doris 中,这是一个同步的导入方式。 注意 S3 SDK 默认使用 virtual-hosted style 方式。
在自定义购买页面存储模块添加文件存储。 详细配置参数 配置参数 配置内容 文件系统 Linux系统仅支持选择NFS协议的文件系统。 Windows系统仅支持选择SMB协议的文件系统。 挂载地址 用于CFS和BCC间的网络连通,需要和BCC属于同一专有网络VPC。 如无选项,请为当前文件系统添加挂载点。具体操作,请参见 添加挂载点 。 挂载目录/盘符 从BCC上访问CFS的本地路径或本地盘符。
使用场景 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵; 希望尽快完成数据的上云,但是专线方式的费用过于昂贵; 自己没有硬盘或者无可移动的数据存储和传输设备; 月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。
网页空间、存储空间、流量上限分别是什么意思? 网页空间:站点的页面文件在服务器上所占用的存储空间(不含图片、音频、视频) 存储空间:站点中所有的图片、音频、视频在服务器上所占用的存储空间 流量上限:所有访客访问您的站点会产生数据流量,可以理解为手机上网消耗的流量,所有的访客在访问网站时产生的流量总和就是网站访问流量,这个流量的上限就是网站流量上限。
使用S3-SDK访问对象存储 PALO 内置了 AWS S3 sdk,可以直接访问兼容 S3 API 的对象存储,如AWS S3,百度云对象存储 BOS,阿里云的 OOS 和腾讯云的 COS 等等。 通过 S3 sdk 访问对象存储可以不再依赖 Broker 组件。进一步降低 PALO 系统的运维复杂度。
如下表所示,当业务选择物理块存储时,性能需求决定块存储类型,数据量需求决定存储容量。但当业务选择云上块存储时,性能需求决定存储类型,性能需求和数据量需求一起决定存储容量。这是因为云上的块存储性能是和容量正相关的。也正因如此,当业务有间歇性高IO的性能需求时,传统云磁盘服务通常需要购买比实际需求数据量更大的磁盘来满足性能需求。
上传lambda代码 :上传代码必须为zip格式,处理程序填写Go文件的文件名 配置触发器 :我们选择S3触发器,进一步选择需要监听的S3存储桶,还能通过object前后缀缩小监听事件范围;添加之后会看到触发器内容为:存储桶: s3/bucket-name 事件类型: ObjectCreated 保存配置,用户每次上传object到S3 bucket,就会执行上传的Go lambda代码,同步该object
使用存储网关 创建完存储网关后,您可以使用存储网关。 设置公网服务 您可以变更存储网关的公网服务设置。若您在创建时设置了公网,您可以在网关创建完成后取消公网服务;若您在创建时未开通公网服务,您可以在网关创建完成后单独开通公网服务。 说明: -仅云端部署的存储网关可以配置公网,本地部署的存储网关不需要配置网络,本地部署存储网关的网络环境取决于您本地数据中心的网络环境配置。
使用存储网关 现在您可以通过NFS client或者SMB client挂载使用存储网关了。存储网关上可以同时关联多个共享目标,每个共享目标对应一个BOS Bucket。您对于共享目标的数据读写会首先缓存在存储网关本地,并异步地将数据同步到BOS上。
海量存储 单个CDS实例支持32TB存储容量,同时支持最多16个CDS实例挂载到同一云服务器,实现对海量数据的存储能力。