千帆大模型平台 V1.0版 Relase Note

日期

功能模块

功能描述

2023.7

平台使用

·新增问答机器人：在您使用平台时，右下方上线千帆帮助小助手，帮助您在平台使用过程中答疑解惑。

2023.7

API相关

更新ERNIE-Bot-turbo：
更新请求参数messages描述说明：最后一个message的content长度（即此轮对话的问题）不能超过字符数由2000修改为11200；如果messages中content总长度大于11200字符，系统会依次遗忘最早的历史会话，直到content的总长度不超过11200个字符。

2023.7

模型管理

·新增第三方开源大模型服务：预置模型新增Llama-2-7b-chat、Llama-2-13b-chat、Llama-2-70b-chat。
·新增预置大模型ERNIE-Bot-turbo-0704版本：支持SFT训练和推理部署，显著提升文本创作、改写纠错、多轮对话等能力，场景精调难度低，效果好。

2023.7

API相关

新增支持以下API：
·Llama-2-7b-chat，由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-7b-chat是高性能版本。
·Llama-2-13b-chat，由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-13b-chat是性能与效果均衡版本。
·Llama-2-70b-chat，由Meta AI研发并开源，在编码、推理及知识应用等场景表现优秀，Llama-2-70b-chat是高精度效果版本。

2023.7.25

API相关

更新ERNIE-Bot-turbo：
新增支持请求参数temperature、top_p、penalty_score

2023.7

新手指南

·新增10分钟快速上手千帆大模型平台视频(持续更新)：方便您对照视频快速入门千帆大模型平台的操作流程。
·新增SFT最佳实践文档：参考场景化的最佳实践，在您的实际业务中进行匹配落地。

2023.7

模型服务

·ERNIE-Bot-turbo大模型全新升级, 最大输入6K token, 支持推理参数,性能优化: 首字符返回<1.5秒 (90分位)， 可满足更多场景要求。

2023.7

Prompt工程

·新增预置Prompt模板：大模型快速理解我们的需求,无需从头开始思考如何回答问题。

2023.6

API相关

·更新Ernie-Bot相关API：新增请求参数temperature、top_p、penalty_score；新增响应参数is_truncated，表示当前生成的结果是否被截断。
·新增Ernie-Bot-turbo相关API：创建chat，用于发起发起一次对话请求。
·新增Embeddings相关API：用于根据输入内容生成对应的向量表示。
·新增获取Prompt模板相关API：用于获取Prompt工程里面模板的内容。
·新增BLOOMZ-7B相关API：用于发起一次对话请求。
·新增域内知识搜索相关API：关于增强插件API调用说明。

2023.6

插件应用

·新增插件编排服务：大语言模型(LLM)的应用构建工具，帮助用户快速构建LLM应用或将LLM应用到自建程序中。

2023.6

Prompt工程

·新增Prompt模板服务：管理和查看Prompt模板，支持在服务调用时组合Prompt输入推理。

2023.6

模型管理

·新增模型管理服务：统一纳管用户训练或压缩生成的大模型。
·新增模型评估服务：对生成式大模型的输出效果进行全方位评价。
·新增模型压缩服务：通过量化等方法在尽量减少精度损失的前提下，降低AI加速卡资源占用。

2023.6

模型训练

·新增大模型调优服务：开发者根据实际需求选择训练模式加以调参训练，实现理想的模型效果。
·新增RLHF训练服务：基于人类反馈的强化学习，使智能系统能够从环境中学习并最大化特定目标。
   ·奖励模型训练：根据人类反馈来学习如何决策，获得更高的累积奖励值;
   ·强化学习训练：训练对象进一步进行决策,完成特定的目的或者使收益最大化。

2023.6

资源池

·新增私有资源池服务：服务独占资源，可以设定对应的算力单元来保证QPS。

2023.6

数据服务

·新增数据标注服务：对指定文本数据添加标签或注释，以便模型训练能够理解和处理数据。
·新增数据清洗服务：对指定数据进行清洗处理和加工，以提高数据的准确性和可靠性。
·新增数据增强服务：使用少量数据产生更多的数据,增加训练样本的数量以及多样性(噪声数据),提升模型鲁棒性。
·新增数据回流服务：对在线测试反馈的结果重新保存至数据集，人工筛选、丰富数据集的样本数量。