所有文档

          EasyDL定制AI训练平台

          专业版服务介绍

          目录

          1. 专业版简介
          2. 专业版使用流程
          3. 专业版产品特性

          专业版简介

          EasyDL专业版是EasyDL在2019年10月下旬全新推出的针对AI初学者或者AI专业工程师的企业用户及开发者推出的AI模型训练与服务平台,目前支持视觉及自然语言处理两大技术方向,内置百度海量数据训练的预训练模型,灵活支持脚本调参及Notebook两类开发方式,只需少量数据可达到优模型效果。

          适用人群

          专业AI工程师且追求灵活、深度调参的企业或个人开发者

          支持定制模型类型

          支持视觉及自然语言处理两大技术方向

          • 视觉:支持图像分类及物体检测两类模型训练
          任务类型 网络系列 预置网络
          图像分类 EffcientNet系列 EffcientNetB0_small
          EfficientNetB4
          MobileNet系列 MobileNetV2
          MobileNetV3_large_x1_0
          Res-系列 ResNet18_vd
          ResNet50
          ResNet101
          ResNeXt101_32x16d_wsl
          Res2Net101_vd_26w_4s
          SE_ResNet18_vd
          SE-ResNeXt50
          SE-ResNeXt101
          Xception系列 Xception71
          - NASNet
          物体检测 SSD系列 SSD-MobileNetV1
          YOLOv3系列 YOLOv3-MobileNetV1
          YOLOv3-DarkNet
          YOLOv3-ResNet50vd-DCN
          Faster R-CNN系列 Faster_R-CNN-ResNet50-FPN
          RetinaNet系列 RetinaNet-ResNet50-FPN
          Cascade R-CNN系列 Cascade_RCNN-RestNet50-FPN
          实例分割 Mask_RCNN-ResNet50-VD-FPN
          Cascade_Mask_RCNN-RestNet50-FPN
          • 自然语言处理:支持文本分类及短文本匹配两类模型训练,内置百度百亿级数据所训练出的预训练模型ENNIE.

            ERNIE(艾尼)是百度自研持续学习语义理解框架,该框架可持续学习海量数据中的知识。基于该框架的ERNIE2.0预训练模型,已累计学习10亿多知识,中英文效果全面领先,适用于各类NLP应用场景。 了解ERNIE

          任务类型 预置网络
          文本分类 BOW、CNN、GRU、TextCNN、LSTM、BiLSTM
          短文本匹配 SimNet(BOW、CNN、GRU、LSTM)、FC
          序列标注 CRF

          专业版使用流程

          image.png

          分析业务需求

          这里需要分析业务场景需求选择任务类型,EasyDL专业版支持图像分类、物体检测、文本分类、短文本匹配多类任务,介绍如下:
          图像分类
          识别一张图中是否是某类物体/状态/场景,适用于图片内容单一、需要给整张图片分类的场景。
          物体检测
          检测图中每个物体的位置、名称。适合图中有多个主体要识别、或要识别主体位置及数量的场景。
          实例分割
          检测图中每个物体的位置、名称。适合图中有多个主体、需识别其位置或轮廓的场景。
          视觉任务(图像分类/物体检测)的典型应用场景
          图片内容检索:定制训练需要识别的各种物体,并结合业务信息展现更丰富识别结果
          图片审核:定制图像审核规则,如训练直播场景中抽烟等违规现象
          制造业分拣或质检:定制生产线上各种产品识别,进而实现自动分拣或者质检
          医疗诊断:定制识别医疗图像,辅助医生肉眼诊断


          文本分类
          可判断一段文本是否属于某一个自定义的类别,适用于文本筛选、文本归类、文本聚合等多种应用场景
          短文本匹配
          可判断两段短文本的相似度,如在客服问答场景中,通过训练短文本匹配的模型,能够快速识别出知识库中与用户问题相似的相关问题,并推荐出相应的答案,快速提升客服问答效率。
          序列标注
          通过定制标签,实现对一串文本中的每个序列单元进行分类标注。能够实现分词,词性标注,命名实体识别,关键词抽取,词义角色标注等应用功能。可以用于金融场景、医疗场景等的关键信息抽取,或者对对话的关键词槽的识别应用。
          自然语言处理任务(文本分类/短文本匹配)的典型应用场景
          文章资讯分类与新闻推荐:在新闻媒体等场景中,支持用户自定义文章分类体系并完成高效训练,从而实现对文章内容的快速分类,用户画像和用户标签,实现个性化文章资讯的推送;同时可以结合短文本匹配技术,通过判断新闻标题的相似度来给用户推荐更多的相关内容,用户画像和用户标签,实现个性化文章资讯的推送。
          企业内容信息管理:在企业信息管理场景中,支持用户自定义内容信息的分类体系并完成高效训练,从而实现企业内外部信息的高效聚合、分类管理,也能够整体提升企业信息库的检索效率。
          客服问答的信息匹配:在客服问答场景中,支持用户通过训练短文本匹配的模型,能够快速识别出知识库中与用户问题相似的相关问题,并推荐出相应的答案,快速提升客服问答效率。

          准备数据

          确定任务类型后,选择相应的数据模板上传数据。EasyDL专业版支持上传未标注及已标注数据,并支持单个/批量多种导入方式。标注方式上支持个人在线标注及多人标注,有效降低标注成本。 详细操作详看不同训练任务类型的数据上传及标注说明文档。

          创建项目

          选择选定的任务类型,根据EasyDL平台提示完成项目创建。具体操作详见不同任务类型的模型训练操作文档。目前项目类型根据开发方式不同分为两类:

          1. 脚本调参:网页中脚本形式调参,支持分布式训练,训练效率更高
          2. Notebook:支持自定义网络,调试代码更便捷,支持单机训练。目前Notebook仅支持视觉类任务。

          【脚本调参】训练任务流程说明

          创建完脚本调参项目后可以创建训练任务,在配置训练任务过程中会需要一次配置训练数据、评测数据(可选)、预置算法、配置脚本等内容。目前EasyDL专业版基于飞桨(paddle paddle)框架构建而成,具有灵活、易用、高效、灵活、可扩展等特点。EasyDL专业版对比经典版,支持代码级调整模型参数和模型结构,并封装低底层算法逻辑细节,更易有算法基础的开发者上手。

          image.png

          1. 新建项目:根据业务场景,选择一个聚焦解决的问题定义为一个项目,如识别保安是否在岗。通过在线选择技术方向及项目类型,如视觉训练任务需要考虑为项目类型为是单图单标签还是单图多标签。
          2. 配置训练任务并启动:根据产品引导,对任务选择已经在数据服务中的已有标注数据的数据集,配置训练集及评测集(可选),并选择预训练模型及脚本,启动训练。
          3. 查看模型评估结果:训练结束后可以看到模型评估结果,并支持在线校验模块体验效果。对视觉任务来说,可以在线上传一张图片查看模型结果。
          4. 模型部署:将模型部署为API、本地化部署、设备端SDK、软硬一体方案。

          【Notebook】训练任务流程说明

          image.png

          1. 新建项目:创建视觉项目,并在开发方式中选择Notebook。
          2. 新建空模型版本:模型版本主要用于管理在Notebook环境训练后生成的模型文件,用于后续的服务发布。
          3. 启动Notebook开发并训练,保存代码库及生成模型:在Notebook内进行开发及模型训练,并保存生成的模型文件及代码库
          4. 配置模型:在Notebook项目列表配置模型,包括配置模型的出入参及数据预处理逻辑,完成配置后等待代码验证,验证通过后即可发布API
          5. 发布模型:针对已经验证通过的模型版本,可以进一步启动效果校验demo,并把模型正式部署为API

          模型部署

          【脚本调参】视觉任务支持部署为公有云API、设备端SDK、本地化部署及软硬一体产品。自然语言处理任务仅支持部署为公有云API。

          【Notebook开发】视觉任务目前支持部署为公有云API


          更多模型部署服务的相关介绍请查看不同任务类型模型部署介绍文档。

          专业版产品特性

          • 预置百度百亿级数据规模的预训练模型,包括丰富的视觉模型及自然语言处理模型ERNIE,训练效果更突出。
          • 对比经典版,支持代码级调整模型参数和模型结构,封装底层算法逻辑细节,代码行数更少,更易有算法基础的开发者上手。
          • 支持从数据管理,模型训练到模型部署一站式AI服务
          上一篇
          功能发布记录
          下一篇
          数据服务