您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。在相同的导入方式下,平台对于文件大小及数量的限制,与您选择的存储类型有关。 导入方式 存储类型:对象存储BOS 存储类型:平台共享存储 本地导入 文件限制:对文件大小和数量无限制。 文件限制:单个文件/压缩包源文件大小,均不超过1G,所有文件数量不超过100。 BOS导入 支持文件导入和目录导入两种方式。
存储网关 450 1350 2700 4320 7560 8100 元/个 类型 计费项 元/GB/分钟 元/GB/小时 元/GB/天 标准型 存储网关 0.0277778 1.6666667 40 增强型 存储网关 0.1111111 6.66666667 160 性能型 存储网关 0.1909722 11.458332 275 本地型 存储网关 0.0069444 0.416666667 10
同时,通过 BSG 上传到 BOS 的数据,可以使用对象存储丰富的数据管理和分发能力,如数据沉降、数据分发、数据处理等等。 产品功能 协议转换 对象存储 BOS 提供了高可靠、高扩展、低成本的存储服务,但传统企业的本地应用往往需要进行接口适配(RESTful API)才能使用 BOS。通过使用存储网关,您可以在计算节点中像读写本地磁盘(通过 NFS、CIFS 协议)一样使用 BOS。
您可以使用以下方案上传数据集:本地导入、BOS导入、分享链接导入、平台已有数据集。 导入方式 存储类型:对象存储BOS 存储类型:平台共享存储 本地导入 文件限制:对文件大小和数量无限制。 文件限制:单个文件/压缩包源文件大小,均不超过1G,所有文件数量不超过100。 BOS导入 支持文件导入和目录导入两种方式。 文件限制:单个文件/压缩包源文件大小,均不超过50G,所有文件数量不超过1000。
实践 关于bosfs性能与注意事项: bosfs基于fuse开发和进行挂载, 由于其框架接口的语义限制, 对挂载点内的本地文件的操作可能需要与BOS对象存储服务进行多次网络交互, 因此bosfs挂载点的实例与BOS endpoint之间的网络环境会影响bosfs的性能. bosfs提供了大量参数, 可根据自身使用的场景进行参数调优, 可参考 文档 bosfs操作并非原子的, 尤其是如使用多个bosfs
本地型 适用于本地计算集群访问云端对象存储的场景,如本地数据云端备份,混合云存储等。 本地型存储网关的性能取决于您本地计算集群的性能表现,若您本地计算集群的计算、网络性能较高,且缓存空间较大,则本地型 BSG 拥有更高的性能表现。
应用场景 存储网关 BSG 适用于多种场景。 场景一:混合云下存储扩展 本地数据中心(IDC)的存储空间往往有限,通过使用存储网关,您可以像读写本地磁盘一样无缝使用云端的海量存储资源。存储网关可以部署在本地或者云端的虚拟机,物理机上。
数据集存储、数据预处理、模型训练生产到模型管理、预测推理服务管理、全服务监控等全工作周期的能力。
3、文件源导入 1)选择文件类型 支持导入文本文档类数据、结构化数据,同时支持通过网页链接解析并上传网页数据。 2)选择导入BOS集群数据 知识库支持直接从本地上传文件,或从创建好的百度对象存储(BOS)实例中上传文件。 选择BOS服务作为文件的存储及导入源,可支持向知识库导入更大规模的数据,满足企业用户数据安全合规要求。