数据处理及使用 对象存储（BOS）
数据处理及使用 生命周期管理 BOS支持用户对Bucket设置生命周期规则，以自动将过期的文件清除，节省存储空间。针对不同前缀的文件，用户可以同时设置多条规则。
企业级大规模存储解决方案
支持权限隔离、多端访问和企业级协同 AI 大规模数据存储 适用于大模型训练、多模态内容生成、自动驾驶、计算机视觉、语音大模型等场景，支持训练数据集管理、高速读写和 Checkpoint 存储 高性能计算与训练加速 通过 PFS、RapidFS 等能力，为 GPU 训练集群、数据处理集群提供高吞吐、低延迟的数据访问能力 跨云 / 本地数据迁移 通过 CloudFlow、专线、半托管 Agent 等方式
面向百度网盘的大规模数据面存储架构思考与设计 | 百度智能云
下一步我们对常见的数据进行一个分类，这个分类我是从一个工程人员的视角出发去看待的。 从三个层次来看数据的分类，最底层我认为它是一个基础层，就是非常简单的一个数据的组织，比如说数据流或者数据片段或者数据项。 再往上一层，根据工程实现的需求，进行一些结构的表达，所以我认为它是结构层。从这一层来看，我认为数据可以分为非结构化和结构化或半结构化这种这些类型。
流式数据处理 - 百度千帆·大模型服务及Agent开发平台
流式数据处理 整体概述 工作流升级了流式数据在画布流程中的传递规则，增强了对自定义组件嵌套使用时的流式数据传递支持，并优化了 API 节点和函数计算（CFC）节点返回的复杂流式内容的处理能力。 因此，新增流式数据处理节点，可支持处理前序节点输出的流式数据，帮助更便捷处理API节点或函数计算CFC节点返回的流式内容。该节点可用于流式返回的文本内容拼接，或者直接提取第一帧或最后一帧的数据。
流式数据处理 - 百度千帆·大模型服务及Agent开发平台
流式数据处理 整体概述 工作流升级了流式数据在画布流程中的传递规则，增强了对自定义组件嵌套使用时的流式数据传递支持，并优化了 API 节点和函数计算（CFC）节点返回的复杂流式内容的处理能力。 因此，新增流式数据处理节点，可支持处理前序节点输出的流式数据，帮助更便捷处理API节点或函数计算CFC节点返回的流式内容。该节点可用于流式返回的文本内容拼接，或者直接提取第一帧或最后一帧的数据。
与对象存储BOS的关系 - 数据流转平台CLOUDFLOW | 百度智能云文档
与对象存储BOS的关系 您通过数据流转平台 CloudFlow，最终以对象形式将数据存储到百度智能云对象存储 BOS。CloudFlow 支持三方云对象存储数据迁移到 BOS，也支持通过月光宝盒设备寄送的方式将本地数据上传到 BOS。 通过CloudFlow在线服务进行三方云数据迁移 通过Cloudflow月光宝盒进行本地数据上云
数据处理实践 - 物联网数据可视化 | 百度智能云文档
数据处理实践 数据处理类型 物可视数据处理分为两类，预设数据处理和自定义数据处理。 预设数据处理：包括行列排序、重命名、行列转换、数据透视表等预设变换能力（用过Excel的小伙伴都知道） 自定义数据处理：通过JS语法窗实现各种强大功能。
Logstash数据存储到BOS 对象存储（BOS）
Logstash数据存储到BOS 工具概述 Logstash 是一个开源的数据收集、处理、分析工具，可以从众多来源捕捉事件，流式传输到所需的存储库中，本文将描述Logstash如何把数据存储到BOS bucket。 配置教程 官网下载安装 Logstash安装包 ，选择对应操作系统的最新版本即可；下载后解压安装包并创建配置文件。
Flume 数据存储到 BOS 对象存储（BOS）
Flume 数据存储到 BOS Flume Flume 是一个分布式、可靠性和高可用的海量日志聚合系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume 提供对数据进行简单处理，并写到各种数据接收方（可定制）的能力。 Flume 支持多种 Sink 类型，可以借助 HDFS Sink 将收集到的数据存储到 BOS。 开始 1. 下载并安装 apache-flume 略 2.
Fluentd收集数据存储到BOS 对象存储（BOS）
Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器，可以从各种数据源收集事件，统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费，以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
