Agent测试
更新时间:2024-03-25
名词解释
AI Agent:Agent = LLM + Planning 计划+ Tool use 执行 + Feedback 纠正偏差。在传统大语言模型的基础上,Agent不仅仅停留在和大模型的聊天对话,其可以借助外部工具直接帮助我们完成某些任务。在百度客悦智能客服平台中,将采用LLM+NLP双引擎结合方式,搭建AI Agent。
画布:在百度客悦智能客服平台中,画布指的是任务对话配置平台,可用于配置 Agent 的各个步骤具体内容,以及各步骤之间的关联关系。
变量:在百度客悦智能客服平台中,变量用来临时保存数据,保存的数据仅在一次对话期间有效,变量可以被随时引用,系统预置了一些变量,用户也可以自定义变量。
功能概述
Agent 测试功能作为AI Agent验证模块,可模拟线上环境,辅助业务人员快速测试当前对话效果,测试过程中系统将详细展示答案来源与变量情况,辅助优化相关步骤。支持「全步骤测试」与「从某个指定步骤开始」,Agent 测试不影响线上效果,具体包含以下功能:
1、Agent测试对话框
1.1 自定义开始步骤
-
当用户点击右上角「Agent测试」按钮或点击某一步骤右上角「发起测试」按钮时,系统会模拟线上环境,弹出Agent测试对话框,支持输入相关问题
- 点击页面右上角「Agent测试」触发测试时,默认从头开始,测试该 Agent 完整功能;
- 点击某一步骤右上角「发起测试」按钮时,则测试从该步骤开始以后所有功能,该按钮默认隐藏,当用户鼠标 hover 在步骤上时展示;
1.2 答案来源预览
- 进入测试对话后,所有答案来源均在答案气泡下方展示,辅助配置人员调试快速定位问题;
1.3 对话分析
-
用户点击答案气泡下方「对话分析」按钮后,通过流程样式,详细展示当前答案信息,包括「用户提问」(问题自动补足)、「信息检索」、「回复生成」
- 「用户提问」:当用户问题不明确/不完善时,系统可根据用户问题,调用大模型能力自动补足问题;
- 「信息检索」:当系统匹配知识不符合预期时,可添加预期可用来回答用户提问的知识,并可完成快速调优;
- 「回复生成」:展示系统最终回复的答案;
1.4 重新对话
- 用户可点击对话框左下角「重新对话」按钮,清空当前会话记录,重新测试
2、变量控制
2.1 自定义变量
-
测试模式下,系统在页面右侧弹窗中展示当前对话中所有「系统变量」与「自定义变量」,其中系统变量为系统预置的通用变量如「时间」、「日期」等;自定义变量为配置人员创建的符合业务要求的变量,如「订单号」、「订单状态」等
- 其中变量值从系统直接获取的变量值,仅做展示,不可编辑;
- 变量值需要从用户输入搜集的变量值,可直接输入/编辑,以模拟特定业务场景;