使用规则引擎将设备消息流转到业务服务器 概述 天工平台将设备上报的数据流转至百度kafka中,之后,业务应用服务器可以消费kafka中的数据进行业务处理。 应用场景 场景说明: 通过百度消息服务kafka削峰填谷,缓冲消息,减轻服务器同时接收大量设备消息的压力。 持久化设备上报的业务数据,防止业务处理应用故障导致消息丢失造成损失。 前提条件 已开通百度消息服务。
您可以将数据写入自有硬盘,将硬盘批量寄送到百度智能云机房,我们将为您免费传输上云。该方案适用于百 TB 级别的本地 IDC 数据迁移上云场景。 BOS CMD 同步上传(sync)功能 :方便快捷的解决本地数据上云过程中,增量数据的问题。同步上传默认支持批量操作,可以将本地目录同步到BOS。如果 BOS 端已经有名称相同且修改时间比本地文件新,同步上传会忽略此文件,只同步新文件或有改动的文件。
三方云数据迁移到BOS 概览 若您希望将其他云服务商中对象存储的数据迁移到 BOS,您可以使用 BOS 提供的如下若干方案。您可以根据自身需求选择合适的迁移方式。 需求场景 需求场景1:其他云服务商历史数据迁移 历史数据具有数据量较大的特点。
BOS 百度智能云对象存储 BOS(Baidu Object Storage)是一款稳定、安全、高效、高可拓展的云存储服务,支持标准、低频、冷和归档存储等多种存储类型满足多场景的存储需求。您可以将任意数量和形式的非结构化数据存入 BOS ,并对数据进行管理和处理。
实践步骤 以用户上传视频、图片等二进制文件为例,使用 CDN 动态加速上传数据到 BOS 的存储方案可以对上传过程优化,在有限增加成本的情况下提升上传速度和上传体验。
Fluentd收集数据存储到BOS 工具概述 Fluentd是一个开源数据收集器,可以从各种数据源收集事件,统一收集数据后可以写入文件、RDBMS、NoSQL、Hadoop、S3等存储系统消费,以便更好地使用数据。本文将详细阐述如何利用Fluentd的 fluent-plugin-s3插件 将日志数据输出到BOS存储桶。
Elasticsearch快照数据存储到BOS 工具概述 Elasticsearch 是一个分布式搜索和数据分析引擎,能够高效地存储、检索、分析、处理庞大的数据集。它支持将快照数据备份到S3等对象存储系统上,本文将详细阐述如何利用ES的 S3 Repository插件 将快照安全地备份至BOS远程存储。 配置教程 下载 Elasticsearch安装包 ,解压并启动ES。
将实例加入安全组 该接口用于为指定BCC实例添加普通安全组,每个实例最多关联10个安全组。 请求结构 PUT /v{version}/instance/{instanceId}?
将实例移出安全组 该接口用于将BCC实例从指定的安全组中移出。 每个实例至少关联一个安全组,默认关联默认安全组。 如果实例仅属于一个安全组,尝试移出时,请求会报 403 错误。 请求结构 PUT /v{version}/instance/{instanceId}?
AWS-lambda同步S3数据到BOS 概览 利用 AWS Lambda 来实时同步用户上传到 S3 Bucket 的 Object 到 BOS Bucket。 需求场景 AWS Lambda 是一项计算服务,无需预配置或管理服务器即可运行代码,你可以通过配置 AWS Lambda的触发器来执行你上传的函数代码。