EasyDL文本介绍
概述
Hi,您好,欢迎使用百度EasyDL定制化训练和服务平台。
EasyDL平台的自然语言处理模型定制能力,基于文心·NLP大模型领先的语义理解技术,为企业/开发者提供一整套NLP定制与应用能力。
当前EasyDL平台提供了8种模型定制能力:
- 文本分类-单标签:定制分类标签实现文本内容的自动分类,每个文本仅属于一种标签类型
- 文本分类-多标签:定制分类标签实现文本内容的自动分类,每个文本可同时属于多个分类标签
- 情感倾向分析:定制情感倾向分析模型,可实现文本按情感的正向(positive)和负向(negative)做自动分类
- 短文本相似度:定制短文本相似度模型,是基于深度学习技术,可实现对两个文本进行相似度的比较计算
- 文本实体抽取:定制文本实体抽取模型,实现对文本进行内容抽取,并识别为自定义的实体类别
- 文本实体关系抽取:定制实体关系抽取模型,是指从文本中抽取出预定义的实体类型及实体间的关系类型,得到包含语义信息的实体关系三元组,每个实体关系三元组由两个实体及其关系构成
- 评论观点抽取:定制评论观点抽取模型,实现从文本中抽取评价片段、评价维度、评价观点,并判断评价情感倾向
- 大模型创作:定制文本创作模型,基于ERNIE 3.0大模型实现对输入文本内容进行创作和续写
产品优势
可视化操作
无需机器学习专业知识,通过模型创建-数据上传-模型训练-模型发布全流程可视化便捷操作,最快15分钟即可获得一个高精度模型。
操作步骤
Step 1 创建模型
确定模型名称,记录希望模型实现的功能。
Step 2 上传并标注数据
不同类型的任务对应的数据格式不一致,您可以上传未标注数据并使用平台提供的标注工具进行标注。或直接上传各任务的标注数据。
Step 3 训练模型并校验效果
选择部署方式与算法,用上传的数据一键训练模型。
模型训练完成后,可在线校验模型效果。
Step 4 发布模型
根据训练时选择的部署方式,将模型以云端API、设备端私有API等多种方式发布使用
更详细的操作指导,请参考各类模型的技术文档
高精度效果
EasyDL文本任务内置文心大模型,将大数据预训练与多源丰富知识相结合,通过持续学习技术,不断吸收海量文本数据中词汇、结构、语义等方面的新知识,实现模型效果不断进化。
文心大模型是百度发布的产业级知识增强大模型,是千行百业AI开发的首选基座大模型。文心大模型既包含基础通用的大模型,也包含了面向重点领域和重点任务的大模型,还提供丰富的工具与平台,支撑企业与开发者进行高效便捷的应用开发。“知识增强”是文心的核心特色,文心能够同时从大规模知识和海量多元数据中持续学习,如同站在巨人的肩膀上,训练效率和理解准确率都得到大幅提升,并具备了更好的可解释性。
丰富的部署方案
训练完成后,可将模型部署在公有云服务器、私有服务器。
部署方式 | 支持的硬件 | 支持的系统 | 技术文档 |
---|---|---|---|
公有云API | 无需关注硬件,发布到公有云 | 不限制 | 文本分类-单标签、文本分类-多标签、情感倾向分析、短文本相似度、文本实体抽取、文本实体关系抽取、评论观点抽取、大模型创作 |
EasyEdge本地-私有服务器部署[私有API] | x86-64 CPU | Linux | 文本分类-单标签、文本分类-多标签、情感倾向分析、短文本相似度、文本实体抽取、文本实体关系抽取、评论观点抽取 |
EasyEdge本地-私有服务器部署[私有API] | Nvidia GPU | Linux | 文本分类-单标签、文本分类-多标签、情感倾向分析、短文本相似度、文本实体抽取、文本实体关系抽取、评论观点抽取 |
公有云API
已全面支持文本分类(单标签、多标签)、情感倾向分析、短文本相似度、文本实体抽取、文本实体关系抽取、评论观点抽取、大模型创作。
训练完成的模型存储在云端,可通过独立Rest API调用模型,实现AI能力与业务系统整合。
具有完善的鉴权、流控等安全机制,GPU集群稳定承载高并发请求。
私有服务器部署
已全面支持文本分类(单标签、多标签)、情感倾向分析、短文本相似度、文本实体抽取、文本实体关系抽取、评论观点抽取。
EasyDL文本任务使用EasyEdge本地部署服务,支持私有服务器部署API的本地化部署。私有API的特点如下:
- 将训练完成的模型部署在私有CPU/GPU服务器上,可在内网/无网环境下使用模型,确保数据隐私
- 将模型以Docker形式在本地服务器(仅支持Linux)上部署为http服务,可调用与公有云API功能相同的接口
- 可纯离线完成部署,服务调用便捷
私有API支持的Linux发行版本如下:
- Ubuntu: 14、16、18
- Centos:7.0及以上
- redhat:7.2以上
- suse 12