简介：本文详细解析了构建双代理RAG评估系统的步骤，包括数据收集、测试集创建、答案检索、评估及链接整合等关键环节，并探讨了其在模型评估中的应用。
在模型开发的领域中，评估模型的性能是至关重要的。为了确保模型输出的准确性，我们采用了一种创新的评估方法——构建双代理RAG（检索增强生成）评估系统。该系统通过生成代理和反馈代理的协作，基于预定义的测试集对模型输出进行准确评估。接下来，我们将详细解析构建这一系统的步骤。
数据是评估系统的基石。在这一步骤中，我们使用了三篇文章作为源数据。这些数据经过加载和分割后，会被嵌入到向量中，并存储在FAISS（Facebook AI Similarity Search）中。FAISS是一个由Meta开发的开源库，专门用于高效进行密集向量的相似性搜索和聚类。这一步骤的实现代码位于ingestion.py文件中。
测试集的构建是评估系统的重要一环。我们使用了Giskard工具来创建测试集。Giskard是一个专为测试和改进机器学习模型而设计的开源工具，它使用户能够创建、运行和自动化测试，以评估模型的性能、公平性和稳健性。这一步骤的实现代码位于create_test_set.py文件中。
在答案检索阶段，我们从FAISS中检索与问题相关的数据。这一步骤是评估流程的第一个生成流程，其实现代码位于generation.py文件中。在检索过程中，我们向大型语言模型（LLM）提供三个输入：问题、AI答案（第一个LLM的输出）和实际答案（从测试集中检索）。
评估阶段是系统的核心。在这一阶段，我们使用不同的提示工程技术来评估AI答案的准确性。这些技术包括思维链（Chain of Thought）、ReAct、角色提示（Role Prompting）和自一致性（Self-Consistency）。评估过程的实现代码位于evaluation.py文件中。我们通过定义一个评估提示模板，并将其与LLM和字符串输出解析器结合，来生成优化后的评估结果。
链接整合是评估系统的最后一步。在这一步骤中，主文件遍历测试数据，使用问题作为第一个LLM的输入，然后将第一个LLM的输出用作第二个LLM的输入。这一过程的实现代码位于main.py文件中。通过这一步骤，我们能够获得基于不同提示工程技术的评估结果。
实验结果展示了基于四种不同提示工程技术的评估代理对测试集问题的输出示例。通过对比AI答案和实际答案，我们可以评估模型在不同提示下的性能。例如，在使用思维链提示技术时，评估结果可能会指出AI答案在强调模型预测准确性和利用外部资源方面存在不足。
RAG评估系统不仅提高了模型评估的准确性和效率，还为模型优化提供了有力支持。通过该系统，我们可以更全面地了解模型的性能，找出存在的问题，并调整模型的超参数以优化性能。此外，RAG评估系统还可以应用于企业私域知识问答等领域，如chat to PDF、chat to doc等应用。
在构建双代理RAG评估系统的过程中，千帆大模型开发与服务平台为我们提供了强大的支持。该平台提供了丰富的模型开发工具和资源，使我们能够更高效地构建和优化评估系统。通过利用千帆大模型开发与服务平台，我们能够更快速地实现模型评估的自动化和智能化，为模型的优化和升级提供有力保障。
综上所述，构建双代理RAG评估系统是一个复杂而精细的过程，涉及数据收集、测试集创建、答案检索、评估及链接整合等多个环节。通过这一系统，我们能够更准确地评估模型的性能，为模型的优化和升级提供有力支持。同时，千帆大模型开发与服务平台在构建过程中发挥了重要作用，为模型的评估和优化提供了有力保障。