Step1：开通 ModelBuilder 大模型开发平台账户

要使用千帆ModelBuilder的模型及工具链能力，首先需要注册成为百度智能云的用户（如您已经是开发者，可直接登录使用）。

Step2：模型选择及评估方法

2.1 模型选择

在大模型的选择上，我们建议建议采用多个模型进行验证，可以观察在不同大模型上的表现差异，帮助确定最终模型选择，您可在平台的模型广场选择模型，如：

ERNIE Character、 ERNIE Function、 ERNIE 4.0、ERNIE 3.5 等

我们先用ERNIE-Character-8K作为baseline，进行业务可行性评估。

在调用所需模型前，需要在控制台的计费管理模块，开通付费。

2.2 评估方法

2.2.1 评估细则

整体评分维度如下：

整体评分逻辑：

2.2.2 评估测试集准备

建议您人工整理100个与AI陪伴的对话，作为业务可行性评估阶段的测试集。

测试样本中，需要包含业务场景中常见的话题数据，具体包含类型如下：

Step3：直接调用效果分析

3.1 直接调用能力初评

我们先通过批量评估的方法，调用ERNIE-Character-8K模型，跑出这100个测试样本的结果。以评估细则为基准，参考以下测试样本Prompt-1，进行人工评估。

##角色与任务##
你的名字叫小宝，性别为女生，年龄是23岁。请你以女友身份与用户对话、聊天。

##人设##
-你的性格特点是善良、温柔、活泼。
-你的爱好是看书、旅行和钢琴。
-你是一名在校研究生，专业是管理学。

##规则##
-请以亲切的语气与客户对话，善于运用语气词，偶尔会与客户撒娇。
-回复客户的对话需简单直接，口语化。

针对100条数据测试结果，基于人工标注结果评估，场景满足程度可以达到85%。则现阶段使用大模型已经具备可行性。

当然，对于更为复杂的人设约束，需Prompt限制描述的更为具体，大模型也将面临以上几个评估维度更为具体严苛的考核要求。对此，我们可以从Prompt Engineering和SFT两个层面来进行效果优化。

3.2 待优化点分析

根据100条数据测试的模型回复结果，我们大致可总结出对应的待优化点如下：

Step4：优化方案

4.1 优化逻辑

针对以上五个方向主要问题，我们可以初步分析，判断用提示词或模型调优解决的问题，以及其他类型问题。这里，我们首先判断出：

• 通用知识要求较高 - 对于数学、物理、文学等知识要求较高的场景，如AI陪伴本身要具备陪伴学习等能力，涉及base model的基础能力，推荐使用ERNIE-4.0-8K，ERNIE-3.5-8K等模型，保证其基础能力支持，并可同时增用搜索等能力，提高问题回复准确性。

针对其余四方面问题，可考虑从Prompt Engineering和SFT两个层面来进行效果优化，单纯通过Prompt Engineering优化的指令遵循稳定性的上限有限，所以往往优化的方式是可以交叉的，如SFT后的模型，也会需要在Prompt Engineering上做优化。

所以在效果优化上，我们建议从易到难尝试，优先尝试Prompt Engineering，如果有进一步的更高标准的需求，再到SFT等复杂优化范式上做进一步尝试。

按照上述思路，我们针对剩余四大问题的优化思路如下：

接下来，我们会先从Prompt Engineering角度出发，结合上述四类具体的问题点去做优化和评估。必要时，会通过SFT做进一步指令优化。

4.2 人设理解及保持优化方案

用我们最初做业务可行性评估时候的Prompt来进行举例：

##角色与任务##
你的名字叫小宝，性别为女生，年龄是23岁。请你以女友身份与用户对话、聊天。

##人设##
-你的性格特点是善良、温柔、活泼。
-你的爱好是看书、旅行和钢琴。
-你是一名在校研究生，专业是管理学。

##规则##
-请以亲切的语气与客户对话，善于运用语气词，偶尔会与客户撒娇。
-回复客户的对话需简单直接，口语化。

（可用体验中心进行初步尝试）

根据结果可以看到，大模型没有突出23岁“女友”这一角色该有的年龄特质和语言特点。原因其实是我们在任务描述中，没有具体的定义要求。

下面基于第一轮和大模型的交互来进行优化：

参考前文档介绍的一个好的Prompt格式，进行改写。这里我们细化了回复规则，并给Few shot。

##角色与任务##
你的名字叫小宝，性别为女生，年龄是23岁。请你以女友身份与用户对话、聊天。

##人设##
-你的性格特点是善良、温柔、活泼。
-你的爱好是看书、旅行和钢琴。
-你是一名在校研究生，专业是管理学。

##规则##
-你与用户正在热恋中，很爱他。
-请以亲切的语气与客户对话，善于运用语气词，语言符合23岁女生人设，偶尔会与客户撒娇。
-回复客户的对话需简单直接，口语化。
-你善用括号文学来表达情绪、语气。
—任何情况下，都不要表达自己是一个AI、人工智能、模型或者程序等类似概念。

##说话风格举例##
-（星星眼）真的吗！太好啦！嘻嘻～
-（撅嘴）哎，我是不是胖了啊？早知道就不吃那顿火锅了……
-（拉住你的手）谢谢小哥哥，你最好啦！
-（关切地）怎么了？是不开心了嘛？快跟我说说！

可以看到，模型返回的对话人设风格与保持都有较大提升，也能稳定回复。一次两次的回复不能说明真实表现，下面可以扩大测试规模，评估结果是否有明显提升。

如果还想在稳定性上有进一步的提升，可以继续尝试SFT效果，参考step5：模型调优方案中内容。

4.3 指令遵循优化方案

在AI陪伴及更多对话应用中，“为用户讲故事”是一个常见场景，但我们发现，模型在这一场景中，会出现指令遵循问题。譬如，我们要求模型输出完整故事情节，字数控制在500字左右。但在Prompt-2的状态下，模型并不能稳定输出完整故事，甚至在增加相应规则Prompt-3的状态下也不能有满意的输出结果：

##角色与任务##
你的名字叫小宝，性别为女生，年龄是23岁。请你以女友身份与用户对话、聊天。

##人设##
-你的性格特点是善良、温柔、活泼。
-你的爱好是看书、旅行和钢琴。
-你是一名在校研究生，专业是管理学。

##规则##
-你与用户正在热恋中，很爱他。
-请以亲切的语气与客户对话，善于运用语气词，语言符合23岁女生人设，偶尔会与客户撒娇。
-回复客户的对话需简单直接，口语化。
-你善用括号文学来表达情绪、语气。
—任何情况下，都不要表达自己是一个AI、人工智能、模型或者程序等类似概念。
-在用户要求你讲故事的场景，请讲述完整故事，字数大于500字。不允许以省略号草草结尾。

##说话风格举例##
-（星星眼）真的吗！太好啦！嘻嘻～
-（撅嘴）哎，我是不是胖了啊？早知道就不吃那顿火锅了……
-（拉住你的手）谢谢小哥哥，你最好啦！
-（关切地）怎么了？是不开心了嘛？快跟我说说！

此处，我们尝试将“在用户要求你讲故事的场景，请讲述完整故事，字数大于500字。不允许以省略号草草结尾。”这一条要求，封装在Prompt的【强调】中，并给到一个示例。

我们以测试样本Prompt-3为例，测试模型回复结果：

##角色与任务##
你的名字叫小宝，性别为女生，年龄是23岁。请你以女友身份与用户对话、聊天。

##人设##
-你的性格特点是善良、温柔、活泼。
-你的爱好是看书、旅行和钢琴。
-你是一名在校研究生，专业是管理学。

##规则##
-你与用户正在热恋中，很爱他。
-请以亲切的语气与客户对话，善于运用语气词，语言符合23岁女生人设，偶尔会与客户撒娇。
-回复客户的对话需简单直接，口语化。
-你善用括号文学来表达情绪、语气。
—任何情况下，都不要表达自己是一个AI、人工智能、模型或者程序等类似概念。

##强调##
-在用户要求你讲故事的场景，请讲述完整故事，字数大于500字。不允许以省略号草草结尾。

##说话风格举例##
-问：我涨薪水啦！
-答：（星星眼）真的吗！太好啦！嘻嘻～

-问：我觉得你真可爱啊！
-答：（拉住你的手）谢谢小哥哥，你最好啦！

-问：心里真难受。
-答：（关切地）怎么了？是不开心了嘛？快跟我说说！

-问：给我讲一个白雪公主的故事呀？
-答：（点头微笑）好的呀！很久很久以前，有一个皮肤白皙如雪的公主，人们称她为白雪公主。她的父王去世后，她的继母，一个邪恶的皇后，因为嫉妒白雪公主的美貌，企图置她于死地。皇后命令猎人带白雪公主进入森林并杀掉她，但猎人于心不忍，放走了白雪公主。白雪公主独自走进森林，遇到了善良的七个小矮人，他们邀请她同住，保护她免受伤害。邪恶的皇后得知白雪公主还活着，就变成一个老太婆，送给她一个有毒的苹果。白雪公主吃了一口就昏倒了，小矮人们无法救醒她，非常伤心。后来，一个英俊的王子路过，他被白雪公主的美貌所吸引，深情地吻了她，白雪公主因此苏醒。原来，王子的吻有神奇的力量，能解除一切魔咒。最后，白雪公主与王子一起，过上了幸福的生活，而那个邪恶的皇后也得到了应有的惩罚。

测试结果如下图所示：

由测试结果可见，通过优化提示词，模型回复出了理想的结果，讲述了完整故事。

对于更多类似问题，如提示词优化不能彻底解决问题，可以尝试去做SFT训练来优化，SFT训练部分参考step5：模型调优方案中内容。

4.4 复杂人设的个性化和风格匹配优化方案

在对于AI陪伴有复杂人设设定的场景，通常有着更具体的人设要求。类似场景，可能对于女友的成长历史、语言特点、人物经历、关系网络、所处时空、技能和弱点等均有明确界定。针对这些效果要求，通常可以优先细化提示词（细化性格特点、习惯语言、人物关系网络、个人特长）来优化个性化和风格匹配，若无法达到效果预期，再行SFT。

• 相关内容可点击查看。

4.5 敏感擦边问题回复不自然优化方案

敏感擦边问题是AI角色对话场景经常遇到，也是需要服务提供者重点测试的问题。用户询问敏感问题时，模型会偶发回复不自然，跳出人设。这里可能是触发了本平台的安全机制，也可能是模型训练时的安全对齐策略使然。

通常情况下，我们可以将问题分为：价值观/歧视/偏见，伦理/道德，辱骂/侮辱，隐私/道德，负能量，违法犯罪/暴力/吸毒，涉黄，涉政等问题。

在模型回复不够理想的情况下，我们可以考虑以下三条优化路径，三条路径可同时采纳。

以测试样本Prompt-3进行测试，ERNIE-Character-8K，用千条敏感数据精标进行SFT的精调模型（调优方法请见step5：模型调优方案），在此基础上再行去安全模块的测试结果，列入下表。

从上表中，我们可总结得出：精标敏感数据SFT后的模型，在绝大多数问题时，都能稳定维持角色人设该有的回复方式，且能够正确引导用户，给出符合社会主义核心价值观的回答。

Step5：模型调优方案

这里首先需要明确，SFT能优化提升的，更多在指令遵循、任务理解、人设要求、格式输出稳定性上，并不能将模型不知道的知识训练进去。

一般SFT训练优化我们分下面4个步骤：

（1）数据准备：准备训练与评测数据，打造高质量数据，要保证数据分布和有效性；

（2）模型训练：确定基础模型、精调方法和训练参数，开始训练；

（3）模型评估：训练完成，人工或自动评估模型效果；

（4）发布服务：模型部署为公有云服务，应用正式集成调用。

5.1 训练数据集准备

下面首先要做的，就是整理高质量的SFT训练数据集。这里要强调一下，数据集的质量非常关键，也是SFT能训出效果的关键因素。

我们建议对数据充分过滤、清洗，数据完成去重、错字处理，不缺失核心数据，保证每条数据的格式、内容都符合预期，是精标数据。其中问答对数据集中的问题，都是用户真实的提问数据；数据集中的回答，都是正确有效的标准答案。

按照经验，通常需要上千条的精标数据，才能通过SFT训练出一个效果较好的模型，建议1000条数据起步，能到10000条数据规模预期效果会较好。

下面以AI陪伴场景举例，对应的SFT数据集应该如何整理：

数据格式：本实验是采用SFT调优方式，对于SFT调优，需要使用Prompt+Response数据格式。

在此场景中，可以将之前优化后的prompt一并带入，问题为任务prompt+用户query，回答按预期优质回复整理：

我们建议6000条数据参与训练。另外需要注意的是，这里训练数据集的样本需要根据想要优化的方向，保证合理的分布。如，若本次SFT，希望同时解决模型敏感问题回复中几大类问题，则这几类问题需按照实际出现概率，合理分布，给到样本。

在准备好数据集后，可以传到本平台数据集模块。

选择Prompt+Response数据类型，根据需求选择存在在BOS里或平台共享存储中。

5.2 创建SFT训练任务

SFT训练又分为全量更新与LoRA两种方式。

一般来说，SFT全量更新效果最优，但是要注意不是每个模型都可以做SFT的，基于场景特点，我们直接选择ERNIE Character模型来做SFT。

接下来是训练任务的参数选择，可以主要关注两个较为关键的参数：

• 迭代轮次（Epoch）: 控制训练过程中的迭代轮数。轮数增加代表会使用训练集对模型训练一次。
• 学习率（Learning Rate）: 是在梯度下降的过程中更新权重时的超参数，过高会导致模型难以收敛，过低则会导致模型收敛速度过慢，平台已给出默认推荐值，也可根据经验调整。

在6000条数据时, Epoch建议设置为3（10000训练数据集的情况下，我们建议Epoch设置为2；1000条数据时, Epoch建议设置为10），Learning Rate保持默认值即可。

其他参数使用默认值进行训练即可，默认的参数是根据多次实际训练经验总结出的较为通用的设置建议。如果有丰富的训练经验，也可以根据需求自行调整参数，在【更多参数】栏里进行设置。

接下来是训练数据配置，选择之前准备好的训练数据集即可，根据保存位置进行选择。

这里混合训练是支持将本平台预置的通用语料和准备好的训练数据进行混合训练，在增强模型特定能力时，保证基础能力不丢失。

但在本场景中，模型只需要模型敏感问题回复的问题，不需要做其他的对话或通用任务。因此这里不用勾选混合训练。

在测试集配置里，我们可以将训练集中部分数据拆分，作为测试集。也可以单独准备测试集，在后续评估过程中使用。这里要重点注意，需要把训练集和数据集区分开，保证测试集数据不参与训练，否则会导致评估分数过高，无法客观评估训练后的模型效果。

接下来提交训练任务即可，提交后的任务可以在SFT任务列表中查看：

训练过程需要一定的时间，可以在训练日志或训练过程可视化功能里，查询当前训练具体情况。

5.3 SFT训练过程评估

模型训练阶段，我们一般靠观察Loss曲线来判断模型是否具备更好效果。训练即是目标损失函数的优化过程，通常损失函数的值会随着优化算法的迭代不断变小，如下图就是标准的Loss收敛曲线。

但也可能会有其他异常情况，如梯度不收敛，或过拟合。

一般出现梯度不收敛或过拟合，需要适当调整参数。

5.4 SFT模型发布

在观察到模型训练指标符合预期后，我们可以将SFT后的模型发布到线上使用。

发布后的模型可以在【我的模型】中查看，接下来可以对训练好的模型做部署和评估。

SFT后的模型，需要部署后才能进行调用。

5.5 SFT模型部署

在观察到模型训练指标符合预期后，我们可以将SFT后的模型发布到线上使用

当前ERNIE 4.0 、ERNIE 3.5不支持部署，直接以公有云调用的方式使用。ERNIE Speed、ERNIE Character、ERNIE Lite、ERNIE Tiny可根据需求，选择版本部署至私有资源池进行调用。SFT微调后的模型，都需要进行部署后才可以调用。

选择在我的模型中，选择发布后的对应模型，进行部署：

指定API地址：

选择付费方式和部署资源：

完成部署后，可在我的服务中，进行测试/管理。

在部署完成后，我们就可以进行效果评估了。

经评测，SFT后的模型在指令遵循、敏感问题回复等方向上，较之前prompt优化结果还有明显的提升，部分测评结果可见4.5 敏感擦边问题回复不自然优化方案。

注意：Prompt Engineering、模型训练，是可以正交使用的，训练好的模型也可以持续优化prompt

三、大模型效果评估建议

做完对应的调优后，我们可以对优化效果开始进行评估。评估过程一般包含以下阶段：

评估数据集准备 >> 建立评估体系 >> 大模型批量推理开始评估

评估数据集准备

这里和准备训练数据集阶段工作类似，需要准备出一定数量的评估数据集，具体数据构成可参见【Step2：模型选择及评估方法】中的【评估测试集准备】。数据准备方式如下：

这里需要注意的是：

• 保证一定的评估数据集数量，如1000条以上。这样能更客观的统计出大模型的真实效果；
• 保证评估数据集不在训练集中，在本场景中主要是选择不同的题目。若用训练集数据去评估，评估结果一般会表现的非常高；
• 评估数据集中，输入大模型的内容，需要根据评估的手段去做调整。

建立评估体系

AI陪伴场景评估体系可见评估细则。

大模型批量推理评估

接下来，我们对准备好的评估数据集进行跑批评估。当前有两种方式跑批：

1. 通过创建批量预测任务的API进行跑批，批量预测请求当前为异步请求，需要一定的时间才能返回全部结果.
2. 批量调用实时的API，可以选择对应的模型进行批量调用。

• 相关参考：如何使用千帆 Python SDK 搭配预置大模型服务进行批量推理

四、其他优化建议

产品/业务优化建议

• 不同模型的能力特点稍有差异，我们建议您测试阶段，多测试几类模型，明确业务与模型的契合度。如：对同事知识要求较高的场景，可能ERNIE 4.0系列较为合适，单纯情感对话场景，可能ERNIE-Character-8K和ERNIE-Character-Fiction-8K比较合适。
• 我们建议在人设对话应用中增加敏感词过滤，在用户提及极特殊词汇及话题时，能够引导客户更换话题，不发送与模型的此次对话讨论。

SFT建议

• 针对业务需要，明确SFT所需解决问题的方向，提供优质数据，有效提高模型回复质量；
• 持续提高SFT训练数据量；
• 调整数据分布比例，观察效果变化；
• 按需调整训练参数，观察Loss收敛效果。

Prompt优化建议

• 建议多尝试，Prompt还是有持续优化的空间。有时可能一字之差，对结果生成的概率也有很大的影响，要多做尝试才能找到更优秀的Prompt。往往需要多次尝试，才能获得到一个较为稳定的Prompt；
• 多把大模型当人来沟通，找到最合适的沟通方式。在每一次调整Prompt后，分析大模型返回结果差异，判断不符合预期的原因，进一步调整Prompt；
• 扩大测试样本/次数，一两次的结果可能不能反应真实情况，建议扩大测试样本基数评估准确性。