识别错误图片示例 通过分标签查看模型识别错误的图片,直寻找其中的共性,进而有针对性的扩充训练数据;或发现是标注错误,从而直接点击修改标注来将标注修正 如下图所示,可以通过勾选「误识别」、「漏识别」来分别查看两种错误识别的情况: 误识别:红框内没有目标物体(准备训练数据时没有标注),但模型识别到了目标物体 观察误识别的目标有什么共性:例如,一个检测电动车的模型,把很多自行车误识别成了电动车(因为电动车和自行车外观上比较相似
导入时,可以导入无标注信息 00.摘要生成-未标注数据-压缩包导入.zip 或有标注信息 sample-text-dialog-unsort-annotated-train-训练样本700条.jsonl.zip 八、SFT 先新建任务 然后新建一个SFT运行任务,采用上面导入的已标注数据 九、RLHF RLHF分为两个步骤,奖励模型训练+强化学习训练, 奖励模型训练 使用 已排序标注数据 进行奖励模型的训练
导入时,可以导入无标注信息 00.摘要生成-未标注数据-压缩包导入.zip 或有标注信息 sample-text-dialog-unsort-annotated-train-训练样本700条.jsonl.zip 八、SFT 先新建任务 然后新建一个SFT运行任务,采用上面导入的已标注数据 九、RLHF RLHF分为两个步骤,奖励模型训练+强化学习训练, 奖励模型训练 使用 已排序标注数据 进行奖励模型的训练
创建及导入数据集 1、在官网界面点击【数据总览】,进入数据集操作界面,点击【创建数据集】。 2、进入创建数据集界面,填写相关信息,选择数据和标注类型(注意训练集、验证集、测试集需要分开创建)。 3、数据集创建完成后,可以在数据总览界面看到刚才创建好的数据集ID,点击【导入】,将自己要训练的数据集导入。 以本地导入-上传压缩包为例:导入方式选择【本地导入】,选择标注格式,点击【上传压缩包】。
识别错误图片示例 通过分标签查看模型识别错误的图片,直寻找其中的共性,进而有针对性的扩充训练数据;或发现是标注错误,从而直接点击修改标注来将标注修正 如下图所示,可以通过勾选「误识别」、「漏识别」来分别查看两种错误识别的情况: 误识别:红框内没有目标物体(准备训练数据时没有标注),但模型识别到了目标物体 观察误识别的目标有什么共性:例如,一个检测电动车的模型,把很多自行车误识别成了电动车(因为电动车和自行车外观上比较相似
如下图所示,可以通过勾选「误识别」、「漏识别」来分别查看两种错误识别的情况: 误识别:红框内没有目标物体(准备训练数据时没有标注),但模型识别到了目标物体 观察误识别的目标有什么共性:例如,一个检测电动车的模型,把很多自行车误识别成了电动车(因为电动车和自行车外观上比较相似)。这时,就需要在训练集中为自行车特别建立一个标签,并且在所有训练集图片中,将自行车标注出来。
数据标注 由于需训练一个目标检测模型,检测出图片中包含的电瓶车,所以标注时需选择目标检测模版进行标注,标注时注意所有图片中出现的目标物体都需要被框出(框可以重叠),检测框应包含整个物体,且尽可能不要包含多余的背景。如下图: 标注示例如下: 模型训练 第一步,选择物体检测任务类型,点击创建模型,根据实际业务自定义命名。
后来为了进一步减少标注的工作量,百度EasyDL的研发人员又开发了一种新方案:一张照片只需拍1块种植板,每块种植板种56棵菜,采集一个生长周期需要45张图,总计为2520棵菜。新方案的标注工作量直接降低了97%,极大减轻了京东方工作人员的标注压力。标完后,百度会对这批单种植板的数据进行随机数据增强合成和优化,尽量弥合合成照片与真实拍摄的覆盖多块种植板的照片的视觉差异。
第三步,形成可上传到EasyDL进行训练的数据,您点击【导入】选择【未标注】数据导入,可以上传本地原图的zip包,如下图: 第四步,当您把图片上传到图像分类数据集进行标注时,可批量标注功能快速为图片打标签,提高您的标注效率,如下图: 模型训练 当您的数据准备完成后,您可以点击先点击【创建模型】完成模型创建后,点击【训练模型】启动训练。
数据准备 数据采集与导入 建议采集真实应用场景的数据,如森林火灾现场图片,如无对应丰富样本,也可从历史森林火灾事故视频中抽取森林背景下的火灾烟雾和火种图片。 一般情况下,使用无人机进行巡检是常见的预警手段,数据采集时的图片视角需与无人机摄像头角度保持一致,如下图: 采集完毕的原图图片可以打包上传到平台,使用平台内置的物体检测标注工具进行标注。