对象存储(BOS)与向量检索(BES):企业级知识库创建 一、对象存储 BOS 是什么? 在Agent知识问答应用场景下,面对企业海量的知识问答数据源,百度智能云对象存储 BOS (Baidu Object Storage) 提供稳定、安全、高效以及高扩展的存储服务,你可以创建个人 BOS 并将知识库文件存储在个人 BOS 资源下,在知识库中导入 BOS 中的文件数据。
创建存储桶 接口说明 本接口用于创建Bucket。每一个用户只允许创建100个Bucket。创建的Bucket其权限默认为private,即Bucket Owner获得FULL_CONTROL,其他人没有任何权限。 注意事项 若一个用户创建的Bucket超过100个,服务将返回400 Bad Request,错误码TooManyBuckets。
此对象中包含uploadId参数,用来表示此次的上传事件。
Standard:标准取回,表示2~5小时内完成取回 LowCost:延缓取回,表示12小时内完成取回 否 判断归档文件是否取回 对于归档存储对象,如果正在取回或已经取回时返回,获取ObjectMetadata时会返回bce_restore。
这类视频往往在直播当日,或者直播后的几天内访问频率比较高,在 1 个月、3 个月、半年或几年之后便不会再有人观看,直播当时的 热数据 ,随着时间的推移就会变为 冷数据 。 在这类场景中,根据国家法律法规要求,直播转录播视频,尤其是电商直播的录播视频需要保存三年,很多场景下的媒资数据也要保存至少 180 天。因此,对于企业来说,在满足冷数据存储可靠性的同时,降低冷数据的存储成本显得格外重要。
每次上传Part之后,BOS的返回结果会包含一个 PartETag 对象,它是上传块的ETag与块编号(PartNumber)的组合,在后续完成分块上传的步骤中会用到它,因此需要将其保存起来。一般来讲这些 PartETag 对象将被保存到List中。
上传Object 概述 BOS 支持任意类型文件的存储,创建 Bucket 成功后,可通过控制台对该 Bucket 中的 Object 进行上传、下载、复制和删除操作。BOS 文件的存储支持标准存储、低频存储、冷存储和归档存储四种存储类型,用户可以根据数据的冷热情况选择,如何选择可以参考 分级存储 。 注意事项 单个上传文件大小不得超过 5GB。若需要传输大文件,建议使用 SDK 工具。
快速入门流程 概述 本文档旨在为初级用户介绍如何在控制台上完成创建 Bucket、上传 Object 等基本功能的操作,使用户能快速了解购买和操作对象存储BOS的流程。 基本概念: Object:在 BOS 中,用户操作的基本数据单元是 Object。 Bucket:Bucket 是存放数据的容器,可以当成是存储桶。所有 Object 都必须存储在 Bucket 中。
博客里的图片、音频、视频内容通常会占用大量空间,该插件可以把博客里的图片自动存储到BOS云端,一方面解决本地磁盘占用,一方面提高图片等多媒体浏览速度。 Discuz插件 Discuz是主流的论坛建站工具之一,人们可以在论坛里发帖并上传附件。附件越来越多就会占用本地磁盘大量空间,所以附件的存储一直是个问题。
描述: du 命令用于统计指定bucket的prefix下的对象总数和总占用存储空间大小,类似Linux的 du 命令。