在线标注
目录
平台提供在线标注功能。您选定数据集版本后,系统会根据数据集类型、选择的标注分类及模板,展示对应的标注操作页面。
登录到本平台,在左侧功能列选择在线标注,进入在线标注主任务界面。
当前模型输入文本对话类数据类型需要标注,query问题集暂不支持。
模型输出的数据集当前为评估任务发起建立的数据集,仅适用于以下评价标注类型。
您可以在数据集列表选择指定未发布的数据集版本进行标注,也可在标注界面指定未发布的数据集版本进行标注。
什么是自动生成回答
当前平台支持回答自动生成,需要调用平台自有的LLM模型。
LLM模型(Large Language Model),也称为大型语言模型,是一种基于机器学习和自然语言处理技术的模型,通过大规模的无监督训练来学习自然语言的模式和语言结构,可以生成自然语言文本或理解语言文本的含义。
使用自动生成将会产生费用,可查看计费说明。为保证任务顺利进行,请保证您的账户开通付费,可点击开通付费。
标注非排序文本对话类数据
此类数据为Prompt+Response数据。
在线标注中,当光标移动至回答框,会有“自动生成”按钮,回答支持调用平台的LLM模型为问题生成对应回答,可在左上角切换应用。另外,平台支持多轮对话数据的批量标注,您选择右上方“一键自动生成”,即可进行标注,单轮对话只标注当前页的单轮数据。
- 您可以选择自动生成回答或手动生成回答,回答生成后“保存标注”即可。
- 标注好的文本数据,将会在“有标注信息”页签下展示。
- 此页面支持您添加问答对、删除问答对和修改问答对的操作,还可在左上角进行数据集切换,切换前请保存当前标注,未保存标注切换后不生效。
标注含排序文本对话类数据
此类数据为Prompt+多Response排序数据。
在线标注中,排序类文本对类数据,支持您一个问题对应多个回答标签。
当用户同一个对话框中多次问到相同(相近)的问题时,后台应答会按照既定顺序给出答案。
简单示例
用户:哪本书属于四大名著之一?
答:您指的应该是《红楼梦》。
用户:哪本书属于四大名著之一?
答:您指的应该是《西游记》。
当光标移动至回答框,会有“自动生成”按钮,回答支持调用平台的LLM模型为问题生成对应回答,可在左上角切换模型。
- 您可以选择自动生成回答或手动生成回答,回答生成后“保存标注”即可。
- 每个问答对,至少要有两个排序问答,每个排序回答中最多生成4个并列回答。
- 标注好的文本数据,将会在“有标注信息”页签下展示。
- 此页面支持您添加问答对、删除问答对和问答的操作,还可在左上角进行数据集切换,切换前请保存当前标注,未保存标注切换后不生效。
- 一个问答对最多生成5个排序,对于多余的排序,可将光标移动到“排序n”字样处,进行删除。
标注文生图类数据
此类数据为Prompt+图片数据。
在线标注中,文生图类数据支持您对指定图片,标注一项prompt。
标注DPO训练数据
此类数据为Prompt+Chosen+Rejected数据。
在线标注中,支持您对DPO训练数据的标注进行检查和修改,支持标注Prompt的Chosen(正偏好回答)和Rejected(负偏好回答)。
标注内容可自动生成,您可调用平台预置服务,详细计费可查看价格文档,另外您也可以选择SFT后模型发布的服务,其计费可查看价格文档。
标注KTO训练数据
此类数据为Prompt+Chosen/Rejected数据。
在线标注中,支持您对KTO训练数据的标注进行检查和修改,支持标注Prompt的Chosen(正偏好回答)/Rejected(负偏好回答)。
标注内容可自动生成,您可调用平台预置服务,详细计费可查看价格文档,另外您也可以选择SFT后模型发布的服务,其计费可查看价格文档。