一、案例背景

快餐公司对自身客服系统构建了复杂的标签体系，从六大业务【基础会员、券、高级会员、自助、配送优惠、礼品卡】分别构建三层的标签体系，示例如下：

1.1 小模型方案的现状和挑战

该项目起初是使用NLP小模型进行落地，在项目推进过程中，NLP小模型的方案遇到如下几个困难：

1.2 大模型的目标和实现效果

该场景作为百胜大模型考察的典型性场景，客户希望大模型在准确率上能在80%以上，并降低标注数据的量（注：准确率为单标签准确率，即一个标签正确即为打标正确）。

二、案例方案：

整体方案：

1. prompt调优

假设你有一套客户意图分类以及该分类下属的原因标签。
请根据给定的客服对话内容，判断最有可能的客户意图以及对应的原因标签，意图和原因标签需要严格控制给定的范围之内；一个意图可能对应多个原因，但一个原因只会对应一个意图；如果均不匹配则回答无明确客户意图；回答请使用json的格式，示例：{“意图": "xxx","原因”: "xxx"}

客户意图的分类

对话内容

2. few shots调优

假设你有一套客户意图分类以及该分类下属的原因标签。
请根据给定的客服对话内容，判断最有可能的客户意图以及对应的原因标签，意图和原因标签需要严格控制给定的范围之内；一个意图可能对应多个原因，但一个原因只会对应一个意图；如果均不匹配则回答无明确客户意图；回答请使用json的格式，示例：{“意图": "xxx","原因”: "xxx"}

您可参考客户的意图分类查阅以下示例：

示例1

输入：工作人员态度差，骂人
输出：{“意图": "投诉餐厅服务态度差","原因”: "餐厅态度差"}

对话内容

3. SFT调优&LORA调优

当前平台精调样板已接入客服对话多标签生成内容，您可至样板间查看详细内容。

三、案例成果：

第一波效果验证，数据集（10个标签，每个标签150组客服对话），仅利用prompt工程准确率较低（个别标签准确率小于10%），单个标签（“我要改取餐方式”）在few shots支撑下，准确率可以到60%。

每个标签使用100组对话进行SFT之后，剩余50组对话进行测试，大模型准确率提升到了86%，且json结构体返回十分稳定。

第二波效果验证，数据集扩充到了30个标签（实际有数据的是27个标签），通过SFT和LORA分别训练之后，准确率如下，整体效果相当，考虑LORA训练的成本较下，建议该类场景未来均可优先考虑LoRA。

客服对话大模型打标场景POC总结：

场景成本（仅计算公有云费用，不包含服务）预估：

本平台公有云可以按训练/推理token用量和算力单元进行收费，预计每个品牌每年在25w元左右，具体计费明细可查看训练计费和模型部署推理计费。