实例组前置检查(数据检查) 接口描述 本接口用于实例组前置检查(数据检查),传入实例instanceId所在地域必须与当前请求的地域保持一致。 本接口为v1接口。
查询视图空间列表数据 接口描述 本接口用于查询视图空间列表数据。 请求(Request) 请求URI GET /v1/visionSpace?
是 算子归属的数据目录 catalog 名称 operatorName string 是 算子在元数据中名称 schemaName string 是 算子归属的数据模式 database/schema 名称 version string 是 算子版本 CompoundTask.Operator.OperatorParam 字段名 字段类型 是否必填 字段说明 key string 是 算子参数名
开启从只读。 查看慢日志找到复杂命令,业务针对性优化。 IO 消耗型访问倾斜 热key。 开启从只读,提交工单开启代理层热 key 缓存,提交工单升配网络IO。 开启平台热key分析出热 key,业务针优化。 大key。 开启从只读,提交工单升配网络IO。 开启平台大key分析出大key,业务针优化。 结果集大的命令。 开启从只读,提交工单升配网络IO。 查看慢日志找到复杂命令,业务针对性优化。
存储路径管理 进入 DataBuilder ,单击侧边导航 数据治理>数据湖 进入存储路径管理。 存储路径管理列表 在列表展示已创建的存储路径,可在列表查看存储路径的详细信息。 单击添加按钮创建存储路径,填写相关配置项后单击确定可创建完成。 表一 列表展示项说明 展示项名称 描述 名称 存储路径的名称,创建存储路径时填写的名称。 类型 BOS和HDFS。
五种,超参搜索范围设置过大可能会导致训练时间过长。
导入未标注数据 目录 导入未标注数据方式说明 从本地上传图片导入 从本地上传压缩包导入 导入线上已有数据集 导入未标注数据方式说明 为选定的实例分割数据集导入未标注数据(即原始图片)的方式有两种。一种为从本地选择图片文件;一种为从平台中其余同为图片类型数据集中导入。 从本地上传图片导入 选择 无标注数据-本地-上传图片 ,点击上传图片后选择本地图片文件进行导入。
样本数据详见Demo数据 平台限免阶段每个账户最多支持100万条样本数据,超出后会被平台忽略 二次导入已标注数据 平台支持用户对于已有的数据集,进行二次导入数据。请注意,再次导入的已标注数据,标注标签需要完全一致。注意,二次导入过程 不校验json文件 。只对标注文本进行校验,与第一次上传的json文件里不一致的标签和标注数据,平台将过滤掉。
导入已标注数据 目录 导入已标注数据方式说明 从已有数据集导入已标注数据 查看已标注数据 导入已标注数据方式说明 如果您已有标注好的数据,支持快速导入到BML,方便直接进入后续训练环节。 实例分割任务向选定的数据集导入已标注好的数据目前支持一种方式: 将其他数据集已经标注好的数据导入 从已有数据集导入已标注数据 从已有数据集导入已标注数据,支持选择数据集及导入的具体标签进行导入。
使用自定义任务处理数据 在百舸平台中用户可以利用已有资源池队列或创建专门的CPU资源池,使用分布式训练任务模块提交自定义任务方式处理数据,并将处理好的数据写入到BOS、PFS、CFS等存储中供后续业务使用。 此文档提供使用百舸自定义任务处理数据的最佳实践方法和思路,针对不同业务场景,用户可参考该文档实现更加复杂的数据处理任务,亦可以创建可以并发处理的分布式处理任务。