离线日志下载及转储 概述 CDN提供了完善的离线日志管理与下载功能,您可以根据实际情况查询、下载或自动存储CDN的日志文件。 下载日志到本地 :将选择的日志下载到本地路径保存。 一键转储 :设置了转储路径后,可选择一个或多个日志文件转储到指定的BOS Bucket中,了解更多BOS可参考 BOS产品描述 和 BOS操作指南 。
类型及所在区域 CDS产品类型及其所在区域对应表如下: 产品类型 华北-北京 华北-保定 华南-广州 华南-成都 华东-苏州 华东-上海 华中-武汉 中国香港 增强型SSD_PL2 √ √ √ √ √ √ 增强型SSD_PL1 √ √ √ √ √ √ √ √ 通用型SSD √ √ √ √ √ √ √ √ 高性能云磁盘 √ √ √ √ √ √ √ √ 通用型HDD √ √ √ √ √
而对于轻度的离线分析需求,这部分的特点是需求多变、对成本敏感、与线上服务有隔离诉求。GaiaDB使用多入口技术支持业务在离线请求完全隔离,对于离线类请求使用单独计算资源,不会对线上造成影响,同时充分利用存储层分布式MVCC能力,不增加额外的存储成本和数据一致性维护开销,随着离线负载的变化,对应计算资源还可以动态伸缩以进一步增强成本节省能力。
工具基于 C-S 结构实现,client 端负责读取文件列表, 任务调度和进度统计等工作, 所有和迁移相关的参数/配置都在 client 端进行;迁移任务在 server 端完成, client 端通过 RPC 请求通知 server 对哪些文件进行迁移。
常见问题总览 一般类问题 CFS 支持哪些存储类型 CFS 支持哪些协议类型 每个用户可以创建多少个文件系统 每个文件系统可以创建多少个挂载点 挂载点可以跨可用区访问吗 如何备份 CFS 的数据 CFS 开放了哪些区域 CFS 如何保证数据可用性及可靠性 应该如何在对象存储 BOS、块存储 CDS 和文件存储 CFS 间进行选择 如何查询客户端读/写吞吐流量 计费类问题 CFS 如何收费 一个文件系统用于计费的实际使用空间是如何计算的
在弹窗中选择需要复制到的 目标文件夹 ,并选择复制文件在目标文件夹中的 存储类型 。文件复制后,原 Bucket 中文件依旧会保留。 说明: 您可以通过把文件复制到自身并设置相应存储类型来实现存储类型转换。 移动文件 登录 BOS 管理控制台 ,进入全局概览页面。 在 BOS 控制台左侧的导航栏中选择目标文件所在的 Bucket ,点击打开该 Bucket 的文件列表页。
查询离线模式 接口 离线模式指的是在资源过期回源的时候,如果源站异常,那么CDN会响应之前缓存的资源,响应客户端200,但是回源日志中还是显示5xx。 Method Path 说明 GET /v2/domain/{domain}/config?
设置离线模式 接口 本接口用于设置离线模式,离线模式指的是在资源过期回源的时候,如果源站异常,那么CDN会响应之前缓存的资源,响应客户端200,但是回源日志中还是显示5xx。 Method Path 说明 PUT /v2/domain/{domain}/config?offlineMode 设置离线模式 domain:修改配置的CDN加速域名。
Logstash数据存储到BOS 工具概述 Logstash 是一个开源的数据收集、处理、分析工具,可以从众多来源捕捉事件,流式传输到所需的存储库中,本文将描述Logstash如何把数据存储到BOS bucket。 配置教程 官网下载安装 Logstash安装包 ,选择对应操作系统的最新版本即可;下载后解压安装包并创建配置文件。
Flume数据存储到BOS Flume Flume是一个分布式、可靠性和高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据;同时,FLume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 Flume支持多种Sink类型,可以借助HDFS Sink将收集到的数据存储到BOS。 开始 1. 下载并安装apache-flume 略 2.