查询数据校验任务列表 接口说明 查看所有数据传输任务列表 请求结构 POST /v { version } /task/checksum/ { dtsId } /list Host : dts.baidubce.com Authorization : string { maxKeys : 15 , marker : dtsmxxxyyyzzz } 请求体参数 请求体字段数据结构说明 参数名称
响应体参数 响应体字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 success boolean 是 是否成功 true result Result 是 返回结果 result Result字段数据结构说明 参数名称 参数类型 是否必须 描述 示例值 dtsCheckTask DtsCheckTask 是 dtsCheckTask dtsCheckTask DtsCheckTask字段数据结构说明
查询processlist快照数据 接口说明 查询processlist快照数据。
查询视图列表数据 接口描述 本接口用于查询视图详细列表数据。 请求(Request) 请求URI GET /v1/vision?
您也可以在Bucket细粒度访问控制中设置仅允许通过HTTPS(TLS)来访问BOS资源,实现更加安全的数据传输。安全传输层协议(TLS)用于在两个通信应用程序之间提供保密性和数据完整性。了解更多,详情请参见 HTTPS传输加密实践 。
至此,我们可以得出如下结论: 数据飞轮持续的反馈循环机制确保了模型能够适应不断变化的用户需求,提升了整体用户满意度。并且这套路径可以持续用更符合用户喜好的数据优化模型。 五、后续迭代与展望 后续千帆平台将会建设自动处理BLS日志、筛选数据、结合业务反馈数据以及更细粒度的对训练后的模型做评估等功能建设,进而帮助您更好的使用数据飞轮。
平台已有数据集 仅支持选择未发布的数据集版本。 仅支持选择未发布的数据集版本。 通过上述步骤,即可导入数据至数据集。
查询视图详细数据 接口描述 本接口用于查询视图详细数据。 请求(Request) 请求URI GET /v1/vision/{visionId} 参数名 类型 是否必须 描述 visionId Long 否 视图ID 请求头域 除公共头域外,无其它特殊头域。 请求体 无 响应(Response) 响应头域 除公共头域外,无其它特殊头域。
增量迁移说明 增量迁移概述 CloudFlow 支持增量迁移功能,即将源端不断写入的新数据持续同步到 BOS。 增量迁移若采用定时扫描策略对源端 Bucket 进行持续扫描,然后周期性将扫描到的新文件同步到 BOS 目的端 Bucket。若您需要进行增量迁移,您需要在创建任务时设置扫描周期。扫描周期为小时粒度,最小间隔周期为 1 小时,最大间隔周期为 1 周。
借助BOS进行数据迁移 适用场景 无法在百度云与IDC或三方云之间打通网络(如专线等),且需要将本地IDC或三方云的数据上传至PFS中。 操作步骤 第一步:先将本地数据/三方云数据迁移至BOS中,详见: 对象存储BOS数据迁移 第二步:利用BOS工具将数据从BOS迁移至PFS,详见: BOS与PFS之间的数据迁移