【V1.1】全面接入Llama 2家族全系列大模型，支持高性能推理调用
大模型开发/产品动态
- 文心大模型
- 插件应用
- 开源大模型
2023.08.087244看过
两大重点升级功能抢先看：
-
全面接入Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型。接入的模型经过干帆大模型平台二次性能增强，模型推理成本最高可降低50%。
-
上线预置Prompt模板，模板数量多达103个,覆盖对话、游戏、编程、写作十余个场景。
百度智能云千帆大模型平台接入Llama 2等33个大模型 推理成本最高可降低50%
为满足企业对大模型多样的需求，千帆大模型平台以文心大模型为核心，同时全面接入Llama 2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型。
企业用户可将不同大模型搭配使用，以满足不同细分场景的业务需求。企业和开发者可以登陆千帆大模型平台操作台，在“模型仓库”中直接调用、部署。
千帆大模型平台接入的大模型均经过严格优选，主要考核三大指标：模型效果、模型安全性、可商用。为给企业客户带来更好的模型产品，千帆大模型平台对这33个大模型进行了性能+安全的双重增强。
-
对每一个大模型进行了二次性能增强，通过优化模型吞吐、降低模型尺寸，实现模型推理速度的大幅提升。据测算，调优后模型体积可压缩至25%-50%，推理性能显著提升。这意味着，企业在千帆大模型平台上调用这些模型可极大地节约成本，提升效果。
-
对第三方大模型做了二次安全增强，更好管控模型输出的安全性。客户在千帆大模型平台上调用第三方模型，也享有平台的安全保障。
为方便开发者和企业做模型调优，千帆大模型平台还提供多种低门槛调优工具，包括SFT（全量参数微调、Prompt Tuning、LoRA）及强化学习（奖励模型学习、强化学习训练）等，同一模型可通过多种方式持续调优。此外，千帆大模型平台还支持数据回流功能，可在实际生产过程中持续微调，提升模型效果。
上线国内最全Prompt海量模板库 大幅优化模型输出效果
Prompt是指通过自然语言向大模型提出问题/提示，帮助大模型更好地理解人类的问题。实际应用时，大模型往往因为Prompt缺乏针对性、描述不清晰等原因影响到内容准确性。
为帮助客户提高Prompt提问质量、提升模型输出满意度，本轮升级后，千帆大模型平台上线了海量预置Prompt模板库，模板数量多达103个，包含对话、编程、电商、医疗、游戏、翻译、演讲等十余个常见场景。用户可以根据需求选择合适的模板，直接输出给大模型, 即可提高模型内容的针对性和准确度。
不少企业使用大模型时，认为效果不好是模型本身的问题，其实很多时候重新编写Prompt就能达到预想的效果。海量Prompt模板的推出，大幅降低了Prompt撰写难度。很多情况下，企业无需花费大量资源调优大模型，基于模板优化Prompt，即可得到满意的模型效果。
|
千帆大模型平台 V1.1版 Relase Note
|
||
|
日期
|
功能模块
|
功能描述
|
|
2023.8.22
|
数据服务
|
·新增泛文本无标注数据类型：平台支持上传管理泛文本无标注数据。
|
|
2023.8.22
|
模型训练
|
·新增ERNIE-Bot-turbo-0704Prompt Tuning训练方式：在固定预训练大模型本身的参数的基础上，增加prompt embedding参数，并且训练过程中只更新prompt参数。
|
|
2023.8.22
|
模型管理
|
·新增对预置模型ERNIE-Bot-turbo-0704训练产出及预置模型评估功能：对⼤模型的输出效果进⾏全⽅位评价，提供多种打分模式。
·新增基于裁判员模型评估方式：使用能力更强的大模型作为裁判员，对被评估模型的生成结果进行自动化打分，适用于开放性或复杂问答场景。 ·新增压缩模型进行评估功能：当前支持BLOOMZ家族模型压缩后再评估。 |
|
2023.8.22
|
模型服务
|
·新增ERNIE-Bot-turbo-0704服务发布公共资源池：当前仅限训练方式为Prompt Tuning模型发布至公共资源池(限时优惠)。
·新增Llama三个开源大模型预测服务：Llama-2-7B-Chat、Llama-2-13B-Chat和Llama-2-70B-Chat公有云在线调用服务。 |
|
2023.8.22
|
Prompt工程
|
·新增客户反馈通道：界面中置入反馈窗口提交您的使用反馈和产品建议。
|
|
2023.8.22
|
插件应用
|
·新增Chatfile插件：基于PDF/Doc格式文档（不支持扫描件），可检索知识点、对文档进行摘要等。
|
|
2023.8.16
|
插件应用
|
·域内知识搜索增强插件API：新增支持流式方式。
|
|
2023.8.15
|
API相关
|
·新增鉴权相关内容：包括鉴权介绍、获取access_token及使用教程等。
|
|
2023.8.8
|
数据服务
|
·新增众测标注功能：提交标注人力服务的需求发布至百度众测。
|
|
2023.8.8
|
插件应用
|
·新增请求回显功能：插件使用中增加插件回显，明确使用插件，并展示插件名称以及当前状态。
|
|
2023.8.8
|
模型训练
|
·新增Llama-2-7b模型调优：由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀。
|
|
2023.8.2
|
模型训练
|
·新增ERNIE-Bot-turbo-0704模型LoRA训练：在固定预训练大模型本身的参数的基础上，在保留自注意力模块中原始权重矩阵的基础上，对权重矩阵进行低秩分解，训练过程中只更新低秩部分的参数。
|
评论
