多人标注
目录
什么是多人标注
本平台引入全新多人标注机制,支持标注、审核、验收等多类角色,以多人团队协作形式提升数据标注效率。
登录到本平台,在左侧功能列数据标注中选择多人标注,进入多人标注的主任务界面。
我发起的任务
在数据标注-多人标注-我发起的任务页面中,选择“创建任务”
基本信息
填写任务名称,选择需要标注的数据集
需注意:智能标注/多人标注/清洗/共享/导入导出中数据集不可选
- 若需要标注的数据集未导入平台,可以点击“创建数据集”,跳转到数据集管理-创建数据集,相关的操作指南详见创建数据集。
- 标注任务样例是给标注队员和审核人员(如有)提供的标注模板,此模板由用户自定义,非必填项,但当前仅支持pdf格式内容。
- 数据标注状态会根据选择的数据集标注状态自动填写。
任务分配
选择标注团队,平台按需要标注的数据量和团队人数平均分配标注任务,填写以下内容。
如果没有标注团队,您也可以创建子用户,并参考用户文档分配权限,关于管理团队可查看以下标注团队管理内容。
- 若需要审核,请选择审核团队及抽检比例,团队每人审核数量根据审核总任务平均分配,需要填写以下信息,其中抽检比例可以设置审核团队抽样检查的比例数量。
如果没有审核团队,您也可以创建子用户,并参考用户文档分配权限,关于管理团队可查看以下标注团队管理内容。
- 若标注完的数据集选择生成新版本,则默认成为原有数据集的新版本
填写完上述选项后,点击“确定”即可创建多人标注任务。
查看多人标注任务
当您创建完成多人标注需求后,可在此功能模块下查看到新建和历史的需求创建任务。
标注信息
点击操作列的“详情”,可以查看任务的标注信息
查看标注进度
当任务状态为“待标注”、“标注/审核中”、“标注完成”或“标注完成(所有子任务已提交)”,可以通过操作列查看标注进度。
停止标注
当任务状态为“待标注”、“标注中”或“标注/审核中”,可以通过操作列中止标注任务,并选择之前已标注的内容是否生效。
标注任务终止后,所有成员不可再进入标注页面
验收任务
当任务状态为“标注完成(所有子任务已提交)”或“已终止(保留数据)”,可以通过操作列点击“验收任务”,对标注设置验收“通过”或“不通过”。
- 修改验收结果:重新对该条标注进行验收
- 剩余验收通过:一键通过所有标注
- 任务打回:可以将未验收的数据/验收不通过的数据/未验收+验收不通过的数据返回给标注者
- 验收完成:可以选择保存全部数据或仅保存验收通过的数据,验收完成后任务就会结束,不能再进行操作
查看数据集
当任务状态为“验收已完成”,可以通过操作列查看数据集,页面会转跳到数据集管理-数据集详情
。
删除任务
可以通过操作列删除多人标注任务。
删除后,已标注完内容将在标注完数据集版本查看,正在标注中的内容有丢失风险。
我接收的任务
在数据标注-多人标注-我接收的任务页面中,团队成员可以查看自己的标注/审核任务的进度和状态等。
标注任务
在任务操作列点击“启动标注”即可开始标注任务
标注成员可以选择输入或自动生成回答内容,成功标注后点击右上角的“保存标注”
完成标注任务后点击右上方蓝色的“提交任务”,任务提交后不可再进行标注。
审核任务
在任务操作列点击“去审核”即可开始审核任务
审核人可以选择“通过”或者“不通过”,不通过的标注可以增加审核意见返回给标注者
完成标注任务后点击右上方蓝色的“提交任务”即可
标注团队管理
在数据标注-多人标注-标注团队管理页面中,可以进行创建团队、编辑团队等操作
创建团队
点击当前页面下的“创建团队”,进行标注/审核团队的创建。
一个团队中至少需要1名成员,最多添加20名成员
团队成员的状态可以为:启用、停用和删除。
填写完相关信息后,点击“确定”保存团队。
修改团队信息
在操作列可以点击“编辑”对团队进行修改。
可以通过编辑修改团队名称,添加或删除团队成员等
完成修改后,点击“确定”保存团队
删除团队
在操作列点击“删除”可以删除团队
该操作会将团队彻底删除且不可恢复。