导入SLS采集配置 背景说明 在应用迁站、跨服务数据迁移等场景中,需要批量迁移应用中的日志服务采集配置,以便在百度云日志服务中快速应用采集配置,提升业务迁移效率。目前百度云日志服务支持导入阿里云SLS的日志采集配置。导入的采集配置中包含日志写入的Logstore等采集规则和索引配置,但未绑定收集器。 注意事项 如果导入的采集配置名称与现有传输任务名称重复,日志服务会忽略该采集器配置。
data数据 名称 类型 备注 successNum int 名单导入成功条数 failedNum int 名单导入失败条数 resList obj 导入明细 resList数据 名称 类型 备注 status boolean 导入的状态,true为 成功 bool extJson string 调用方的业务随路数据, 字符串,百度侧原文回传 reason string 失败原因 taskMemberId
00 msg string 响应信息,成功为success,失败时为具体原因 data obj 成功时为导入名单明细 data数据 名称 类型 备注 successNum int 名单导入成功条数 failedNum int 名单导入失败条数 resList obj
用户可以通过前置过滤条件来筛选对应的表数据进行导入。
通过外部表进行导入 PALO 也支持通过创建一张 Broker 外部表的方式引用BOS上存储的数据,然后通过 INSERT INTO SELECT 的方式导入数据。 创建一张表 创建一张用于存储数据的表。同上,不再赘述。 创建 Broker 外部表 创建外部表命令的具体说明可参阅 CREATE EXTERNAL TABLE 命令手册。
基于导入,对已有记录的更新,默认和导入一个新记录是完全一样的,因此可以参考数据导入的文档部分。 部分列更新 部分列更新是指直接更新表中某些字段值,而不是全部字段值。可以使用 Update 语句进行更新,这种 Update 语句通常先读取整行数据,然后更新部分字段值,再写回。这种读写事务非常耗时,不适合大批量数据写入。
也就是说,Doris 主键模型的导入是一种“upsert”模式。基于导入,对已有记录的更新,默认和导入一个新记录是完全一样的,因此可以参考数据导入的文档部分。 部分列更新 部分列更新是指直接更新表中某些字段值,而不是全部字段值。可以使用 Update 语句进行更新,这种 Update 语句通常先读取整行数据,然后更新部分字段值,再写回。这种读写事务非常耗时,不适合大批量数据写入。
3、选择新的数据源 如果导入文件中的报表和大屏中用到了数据库类型的数据源,您需要选择这些数据源在目标报表空间中对应的新数据源。如果没有,您需要在报表空间中先创建好新的对应数据源后再进行导入操作。
导入数据到数据集 数据集提供数据导入能力,帮助用户将数据导入到已有数据集中,实现数据集、权重等文件的上传到百舸进行训练、开发等业务操作。 目前数据集支持已有数据集导入和自定义下载导入: 导入方式 概述 数据集存储类型支持 已有数据集导入 数据集管理提供存储类型为对象存储BOS和并行文件存储PFS(L2)数据集之间相互导入数据,通过已有数据导入功能可以方便的将数据在PFS和BOS之间进行转存。
导入数据源 登录管理控制台。 在页面左上角选择“产品导览 > 专有云 > 广目混合云管理平台 > 存储资源 > 数据湖存储加速工具 > 数据源”,进入Rapidfs数据源列表页面。 在RapidFS数据源列表页面顶部选择要导入数据源的资源池和地域,单击“导入数据源”,弹出导入数据源窗口。 在导入数据源窗口配置数据源基本信息。