数据从baetyl-broker上传至IoTCore 场景说明 数据已经采集到的边缘broker,还需要将采集到的数据上报至云端,本文讲解如何将边缘业务数据上传至远端MQTT Broker。 上传至百度IoT Core 一、前提准备 一个能获取设备数据的连网边缘节点(本demo采用应用案例中的modbus采集温湿度传感器demo节点为测试节点。)
设置自动备份MongoDB数据 云数据库MongoDB支持自动备份,用户可以按照自己的业务需求设置自动备份策略,系统会按照备份策略自动备份数据库数据,保障数据安全。 注意 本地盘实例不能使用快照备份方式,云盘实例可以使用所有备份方式。 备份方式说明 备份方式 说明 快照备份 保留某一时间点磁盘的数据状态,能够做到在分钟级完成数据库的恢复。
数据更新 PALO 中存储的数据都是以追加(Append)的方式进入系统,这意味着所有已写入的数据是不可变更的。 所以 PALO 采用 标记 的方式来实现数据更新的目的。即在一批更新数据中,将之前的数据标记为 删除 ,并写入新的数据。 在读取过程中,PALO 会自动处理这些标记数据(Merge-on-Read),保证用户读取到的是最新的数据。
上传数据时,BOS对收到的用户数据进行加密,然后再将得到的加密数据持久化保存下来;下载数据时,BOS自动对保存的加密数据进行解密并把原始数据返回给用户,并在返回的HTTP请求Header中,声明该数据进行了服务器端加密。 BOS通过服务器端加密机制,提供静态数据保护。适合于对于文件存储有高安全性或者合规性要求的应用场景。例如,深度学习样本文件的存储、在线协作类文档数据的存储。
详见平台导入数据处的数据样例。 上传时,单个数据集总量仅支持上传10000条样本(包括标注数据和未标注数据)。
数据删除 PALO 中的数据删除有以下几种方式: TRUNCATE,该命令用于直接清空表或分区,但不会删除对应的元数据。操作代价较低,再有清空数据需求时,建议使用。 DROP,删除表或分区,会同时删除数据和元数据。 DELETE,Delete 语句用于按条件删除数据,具体说明见本文档 按条件删除 一节。
BOS快照迁移 在线reindex Logstash 通过Spark迁移数据 HDFS快照迁移 BOS快照迁移 snapshot api 是Elasticsearch用于对数据进行备份和恢复的一组 api 接口,可以通过 snapshot api 进行跨集群的数据迁移,原理就是从源 Elasticsearch 集群创建数据快照,然后在目标 Elasticsearch 集群中进行恢复。
拷贝数据 概述 拷贝数据是指在不改变原有数据内容的情况下,将某个存储空间(Bucket)内的一些数据(Object)复制到另外一个 Bucket 中。其中归档存储类型文件需要先取回,才能进行拷贝操作,并且归档类型不支持更新 meta,您可以通过BOS提供的 CopyObject 接口来实现数据的拷贝。
使用SFTP上传下载CFS文件系统数据 本文档介绍如何使用SFTP上传和下载CFS文件系统上的数据。 前提条件 在CFS文件系统所在地域,已购买 云服务器BCC 实例(以下介绍将以CentOS操作系统为例),详细请参见 创建BCC实例 。 背景信息 SFTP的传输速度依赖于BCC的外网带宽,请根据业务需求配置适当的网络带宽。
数据查询 数据查询 数据查询 查询是Studio的核心功能,是后续数据操作的基础。点击导航栏“创建查询”按钮,用户可以选择希望对数据使用的查询方式。Studio提供三种查询方式:快捷查询、条件查询和SQL查询。 快捷查询 快捷查询模式,可快速实现简单的筛选和聚合,支持后续的可视化分析操作。