所有文档

          EasyDL定制AI训练平台

          创建自然语言处理项目和任务

          目录

          1.创建项目

          2.新建任务

          3.任务失败任务码说明

          4.模型选择

          5.日志

          创建项目

          一个项目是指对应的一个场景或者领域的问题,例如智能客服场景、智能教育场景等。在EasyDL中,提供了文本分类任务和文本匹配任务的模型训练能力。本章节将通过演示,如何创建一个自然语言处理任务来完成问文本分类的任务。

          1. 在EasyDL 专业版的控制面板左侧,打开“自然语言处理任务”,并点击内容主板的“创建项目”按钮:

          创建自然语言处理任务项目

          1. 在弹出的个人信息表中,填写对应的个人信息,有效的个人信息,将有助于百度对项目信息进行及时的人工审核,获得更有效的支持。完成信息填写后进入下一步:

          image.png

          1. 对项目的任务信息需要进行编辑,完成编辑后进入下一步:

          image.png

          1. 完成项目创建,便能够在项目列表中查看,并可进行“新建任务”操作

          image.png

          新建任务

          1. 在新建任务的面板中,可查看相关“项目信息”、“添加数据”、“配置任务”等操作,如下图:

          image.png

          训练分类任务,我们需要添加模型训练使用的训练集和模型评测的评测集,如果您没有特别创建评测集,可以将评测集开关设置为“OFF”,系统将从训练集中取出一定比例的数据作为评测集。如果您有准备评测集,则可以将评测集开关设置为“ON”,并上传对应的数据集即可,如下图:

          image.png

          1. 配置任务过程中,您可以选择使用预训练模型ERNIE2.0对应的三个版本:ERNIE2.0_Base、ERNIE2.0_Large和ERNIE2.0_Tiny。本章节演示创建流程,先选择“ERNIE2.0_Tiny”,并选择TextCNN网络。 EasyDL专业版目前支持飞桨(Paddle Paddle)深度学习框架,自然语言训练任务支持的框架脚本为paddle-fluid-v1.5.0。了解飞桨

          image.png

          平台提供了脚本编辑的工具,您可以直接在平台点击“立即编辑”进行脚本编辑,如下图:

          image.png

          平台为您提供了对应代码的注释,方便您了解如何进行代码编辑和修改。

          1. 提交训练任务,任务将在平台提供的GPU训练资源上进行训练。

          image.png

          提交成功的任务,将会在项目列表中展示状态。

          image.png

          在此,NLP任务的创建,已经完成。

          错误码

          如果您的任务出现失败情况,您可以通过查看平台反馈的错误码来查询,如下表:

          错误码 训练失败原因说明
          01-05、07、08、10、11 后端服务超时或训练失败,请提交工单或加入EasyDL官方QQ群(群号:86882600)联系群管解决
          6 数据量过少导致训练失败,请补充数据重新提交模型训练
          9 代码错误导致训练失败,请检查脚本代码内容修改后重新提交模型训练,有疑问请提交工单或加入EasyDL官方QQ群(群号:868826008)联系群管解决

          模型选择

          模型效果:

          1. 当平台跑完NLP任务后,您可以点击“模型效果”进行查看

          image.png

          1. 您可以选择对应任务的不同版本,查看不同的效果数据,如图,当前是V1版本的效果数据:

          image.png

          效果校验

          平台提供了针对模型的校验工具,您可以通过上传文本,了解如何模型的识别效果,从而对模型进行校验

          文本分类模型校验

          您可以上传文本文件(txt格式),也可以直接在输入框中输入文本即可校验,见下图:

          image.png

          短文本匹配模型校验

          您可输入两个文本,点击”测试相似度“,即可获得两个文本的语义相似度的score值。

          image.png

          序列标注模型校验

          您可输入一段文本,注意,如果您训练使用的是ERNIE模型,则需要注意输入文本需要进行切词(可以空格间隔);如果您训练使用的非ERNIE模型,请参考您的训练数据集的分词词典,对文本分词后再输入文本矿中进行校验。

          image.png

          日志

          您可以通过查看任务的日志内容,确认任务训练过程中的细节,

          image.png

          上一篇
          自然语言处理简介
          下一篇
          代码模板升级及迁移说明