简介：马毅教授团队发布全新白盒Transformer模型CRATE，通过数学可解释性实现高性能，图灵奖得主Yann LeCun力挺。CRATE在ImageNet-1K上性能接近ViT，为AI透明化迈出一大步。
在人工智能（AI）领域，Transformer模型以其强大的性能在多个任务中占据了主导地位。然而，尽管Transformer在实践中取得了巨大成功，其内部工作机制仍然像是一个“黑盒”，难以被完全理解和解释。近日，马毅教授团队发布了一项革命性的研究成果——完全数学可解释的白盒Transformer模型CRATE，这一成果不仅推动了AI可解释性的研究，还在实际性能上达到了与ViT相媲美的水平。
过去十多年，AI的飞速发展主要得益于工程实践上的进步，而AI理论在指导算法开发方面的作用相对有限。经验设计的神经网络往往是一个黑盒，其内部工作机制难以捉摸。随着ChatGPT等AI应用的爆火，AI的能力被不断夸大甚至炒作，这引发了人们对AI透明化、可解释性的迫切需求。马毅教授团队正是在这样的背景下，历时五年，推出了CRATE模型。
CRATE模型的核心创新在于其完全数学可解释性。研究人员认为，表示学习的目标是压缩和转换数据（如token集合）的分布，以支持在不相干子空间上的低维高斯分布混合。他们通过稀疏率降低（sparse rate reduction）的统一目标函数来度量表征的质量。从这一角度出发，他们发现流行的深度网络模型，如Transformer，可以视为实现迭代方案以逐步优化该目标的工具。
具体来说，CRATE模型将标准Transformer块中的多头自注意力运算符解释为通过最小化有损编码率来压缩token集合的梯度下降步骤，而随后的多层感知器（MLP）则被视为尝试稀疏化token的表示。这一发现不仅揭示了Transformer的内部工作机制，还促进了一系列在数学上完全可解释的白盒Transformer类深度网络架构的设计。
实验结果表明，尽管CRATE模型在设计上非常简单，但它确实学会了优化设计目标：压缩和稀疏化了大规模真实世界视觉数据集（如ImageNet）的表示，并实现了接近高度工程化Transformer模型（ViT）的性能。这一成果不仅验证了CRATE模型的有效性，还为AI透明化、可解释性研究提供了新的思路和方法。
值得一提的是，图灵奖得主Yann LeCun对马毅教授团队的工作表示了高度赞扬。他认为CRATE模型使用的方法与LISTA（Learned Iterative Shrinkage and Thresholding Algorithm）类似，通过增量地优化稀疏压缩来实现目标。这一评价进一步证明了CRATE模型在AI领域的重要性和创新性。
CRATE模型的诞生为AI透明化、可解释性研究开辟了新的道路。它不仅可以用于图像识别、自然语言处理等领域，还可以为其他需要高可解释性的应用场景提供有力支持。未来，随着CRATE模型的进一步优化和完善，我们有理由相信它将在更多领域发挥重要作用，推动AI技术的进一步发展。
总之，马毅教授团队发布的CRATE模型是一项具有里程碑意义的研究成果。它不仅揭示了Transformer模型的内部工作机制，还通过完全数学可解释性实现了高性能。这一成果不仅为AI透明化、可解释性研究提供了新的思路和方法，也为AI技术的未来发展注入了新的活力。