简介：本文探讨了Anthropic进行的大评估，揭示了当前大模型评分基准面临的挑战与可靠性问题，强调了多维度、动态更新评估方法的重要性，并介绍了Anthropic在提升模型安全性和可靠性方面的努力。
在人工智能领域，大模型的评分基准一直是衡量模型性能的关键指标。然而，这些基准是否真的靠谱？AI初创公司Anthropic近期进行的一次大评估为我们提供了深入洞察。
现阶段，大多数围绕人工智能（AI）对社会影响的讨论都聚焦于AI系统的某些属性，如真实性、公平性、滥用的可能性等。然而，建立稳健可靠的模型评估体系却异常困难。许多现有的评估套件在各方面的表现都相当有限。
过度拟合与作弊风险：以MMLU（Measuring Multitask Language Understanding）为例，这是一个包含57个多选问答任务的英文评测数据集，涵盖数学、历史、法律等多个领域。由于MMLU被广泛使用，模型在训练过程中很容易将其数据纳入进来，导致评估结果存在作弊风险。此外，对简单的格式变化敏感也可能导致评估准确率的大幅波动。
评估方法的局限性：除了MMLU，还有其他多项选择评估方法，如BBQ（Bias Benchmark for QA），用于评估模型对人群偏见的常用基准。然而，这些评估方法在实施过程中也面临着诸多挑战，如找不到可用的开源实现、评估中存在bug、使用起来不便利等。
基准测试的饱和问题：随着AI技术的不断进步，一些早期的基准测试已经变得过于简单，无法有效区分不同模型的性能。例如，MMLU对于当今的模型来说已经“饱和”，多个顶级模型在同一基准测试上的得分非常接近，使得评估结果缺乏区分度。
面对这些挑战，Anthropic在其官方网站上发布了一篇名为《评估AI系统所面临的挑战》的文章，详细阐述了他们在评估AI系统方面的实践与探索。
多维度评估：Anthropic参与了BIG-bench和HELM等多个第三方评估项目，并意识到这些评估方法各有优劣。因此，他们提出了多维度评估的方法，不仅关注模型的准确性，还评估其效率、鲁棒性和伦理表现。
动态更新评估内容：为了避免模型过度拟合特定测试，Anthropic强调评估内容需要动态更新。他们正在开发更具挑战性的评估方法，如MMLU-Pro和MuSR，以测试模型在更复杂任务上的表现。
引入“宪法人工智能”技术：为了提升模型的安全性和可靠性，Anthropic在其Claude3模型系列中引入了“宪法人工智能”技术。这种技术旨在使模型的输出尽可能与人类的价值观一致，从而降低模型产生有害输出的风险。
随着AI技术的不断发展，我们需要不断改进和创新评估方法，以确保它们能够准确衡量AI模型的真实能力。未来，可能需要建立更加独立、全面和动态的评估体系，以推动AI技术的健康发展。
跨模态能力评估：随着多模态AI的发展，未来的基准测试可能需要评估模型处理文本、图像、音频等多种数据类型的能力。
长期记忆和学习能力评估：评估模型在长期交互中保持一致性和学习新知识的能力，对于衡量模型的实用性至关重要。
解释性和透明度评估：不仅关注结果，还要评估模型如何得出结果，以及其决策过程的可解释性。这有助于提升AI系统的透明度和可信度。
综上所述，Anthropic的大评估为我们揭示了当前大模型评分基准面临的挑战与可靠性问题。通过多维度、动态更新的评估方法以及引入新技术提升模型安全性和可靠性，我们可以更好地推动AI技术的健康发展，并为其在各个领域的应用奠定坚实基础。在选择相关服务时，千帆大模型开发与服务平台等具备先进评估体系和技术的平台将更具优势，能够为用户提供更加可靠和高效的AI模型开发服务。