应用场景
随着用户场景的多样化,对象存储 BOS 早已不再是单纯解决读和写问题的单一存储产品。对象存储 BOS 在各个行业都拥有多样化的解决方案,包括存储分发场景方案、冷数据归档存储方案、数据容灾备份方案、高性能大数据计算场景方案、高性能 AI 计算解决方案、多媒体数据处理等等。
1.存储数据全球分发
随着移动通信技术的不断发展,越来越多的数据被生产、被存储、被分发。以往的数据分发以单点分发场景为主,即从一个数据中心分发到定点终端设备。然而,随着 4G、5G 等技术的发展,数据分发逐渐演变为数据从多个数据中心向全球各地终端进行分发的格局。
对于数据分发而言,热点文件(热门视频、游戏更新包等)的分发场景尤为重要。如互联网行业长视频的电影、电视剧点播、新兴短视频的点播、音频文件全球各地的传输和共享,都需要配合低时延、高并发、大容量的分发系统。对于这种场景,您可以使用对象存储 BOS 和内容分发网络 CDN 来应对大流量和高并发。您可以将数据存储在云端,即对象存储 BOS,利用百度智能云内容分发网络 CDN 遍布全球的边缘节点,将内容分发至全球各地的用户终端。
推荐配置: 对象存储BOS + 内容分发CDN
2.冷数据归档存储
随着时间的推移,数据的访问频率会逐渐降低。如直播场景中,往往需要将直播视频形成录播视频,以方便用户在日后观看。这类视频往往在直播当日,或者直播后的几天内访问频率比较高,在 1 个月、3 个月、半年或几年之后便不会再有人观看,直播当时的"热数据",随着时间的推移就会变为"冷数据"。
在这类场景中,根据国家法律法规要求,直播转录播视频,尤其是电商直播的录播视频需要保存三年,很多场景下的媒资数据也要保存至少 180 天。因此,对于企业来说,在满足冷数据存储可靠性的同时,降低冷数据的存储成本显得格外重要。
对象存储 BOS 拥有完善的分级存储体系,共有标准存储-多AZ、标准存储、低频存储-多AZ、低频存储、冷存储和归档存储 6 种存储类型,满足客户数据对从热到冷沉降的需求。
推荐配置: 对象存储BOS + 音视频直播LSS
3.数据的容灾备份
随着云计算技术的发展,越来越多的企业将数据从自建数据中心(自建 IDC )迁移到云端,云存储也随之成为企业的基础设施。通过云端完善的分级存储和数据容灾功能,BOS 可提供高可靠的云端备份方案。
针对数据备份的场景,BOS 提供分级存储的解决方案。对于那些需要长期备份同时访问频率很低的数据,可以存放在低频和冷存储。BOS 还支持生命周期管理,帮助您自动对冷数据进行下沉。此外 BOS 还提供多地域支持,用户可以在地域之间进行数据备份,实现异地容灾。
推荐配置: 低频存储 + 冷存储 + 生命周期管理 + 跨区域复制
4.高性能大数据计算场景方案
随着大数据时代的到来,越来越多的企业需要对自身大量数据进行大数据分析和大数据计算。对象存储作为云端最佳存储方案,BOS 提供一整套高性能大数据计算解决方案。在大数据场景中,BOS 可以作为您本地自建或者云端 MapReduce 集群的底层存储系统,全方位满足数据处理、建模预测、机器学习及海量数据实时查询任务的需求。
对象存储 BOS 提供原生分层命名空间能力,可以将大数据计算中的大规模批量操作如 Rename、List、Head 等操作的时延降低约 70%,突破传统对象存储支持大数据计算方案的延迟瓶颈。
此外,BOS 还提供完整的 RapidFS 方案,能够在近计算节点进行热数据缓存,从而减少调用 BOS 时所产生的时延。同时,RapidFS 还提供计算节点 VPC 内的分层命名空间功能。通过 RapidFS 的缓存和分层能力,将大数据计算中的大规模批量操作如 Rename、List、Head 等操作的时延降低一个数量级,达到微秒级别,彻底突破传统对象存储支持大数据计算方案的延迟瓶颈。
推荐配置: 对象存储BOS + 百度MapReduce BMR + 百度OLAP引擎Palo + RapidFS
5.高性能 AI 计算场景方案
人工智能作为当下发展趋势,越来越多的企业用户希望通过 AI 的方式改变已有的生产方式,如自动驾驶、传统工业、各类互联网企业等等。然而,AI 计算需要底层大量的资源协同,还需要有大规模的存储系统来支撑数据集、特征数据、训练结果的存放。
对于数据集而言,往往需要企业中很多训练模型同时对数据集进行读取,这无形中对存储系统的吞吐量和延迟形成巨大的挑战。同时,AI 计算场景中往往需要文件系统,而对象存储普遍采用 S3 的数据形态,不符合企业对文件接口的需求。
针对以上问题,对象存储 BOS 推出 AI 场景下的存储方案。您可以使用组件 RapidFS 和并行文件系统 PFS 来连接对象存储 BOS,将数据高速读写到计算的 GPU 节点。该方式完全不改变现有的使用方式,并且具有高性能、低时延、大吞吐、简单易用等特点。
推荐配置: 对象存储 BOS + RapidFS + 并行文件系统 PFS + 云服务器BCC-GPU
6.多媒体数据处理
BOS 提供丰富的数据处理功能。您可以对上传到 BOS 的图片进行裁剪、旋转、加水印、缩放、质量变换等图片处理,也可以对音视频文件、文档文本进行转码播放;通过事件通知机制和函数计算 CFC,您还可以实现灵活的自定义事件处理。
同时,针对各类场景,BOS 还提供 AI 图像处理能力,包括智能场景、智能特效等等,能够针对活动运营场景、社交场景、电商场景、海报场景等提供完善的图像处理能力。
对于视频数据,您还可以结合百度智能云视频创作分发平台 VideoWorks 进行音视频编辑。通过自定义工作流的方式,一键制作视频封面、进行视频转码等等。
推荐配置: 对象存储 BOS + 音视频处理 MCP + 文档服务DOC + 视频创作分发平台 VideoWorks。