简介：本文介绍了HorNet，一种新型的视觉骨干网络，通过使用递归门控卷积(gnConv)实现高效的高阶空间交互。gnConv将自注意的二阶相互作用扩展到任意阶，而不增加大量的计算量。实验表明，HorNet在ImageNet分类、COCO对象检测和ADE20K语义分割等任务上的表现优于Swin Transformers和ConvNeXt，显示出良好的可扩展性。此外，gnConv还可以应用于任务特定的解码器，提高密集预测性能，减少计算量。
随着深度学习技术的不断发展，计算机视觉任务如图像分类、目标检测和语义分割等已经取得了显著的进步。在这些任务中，网络结构的设计和优化起着至关重要的作用。近年来，视觉Transformer和基于卷积的模型成为研究的热点，它们各有优势，但也存在一些问题。为了克服这些问题，本文提出了一种新型的网络结构——HorNet，通过使用递归门控卷积(gnConv)实现高效的高阶空间交互，进一步提高了视觉任务的性能。
递归门控卷积(gnConv)是HorNet的核心组件。与传统的卷积操作不同，gnConv不仅考虑了像素之间的局部交互，还通过门控机制和递归设计实现了高阶空间交互。这种设计使得gnConv具有高度的灵活性和可定制性，可以兼容各种卷积的变体，并将自注意的二阶相互作用扩展到任意阶，而不增加大量的计算量。因此，gnConv可以作为即插即用模块来改进各种视觉Transformer和基于卷积的模型。
基于gnConv，我们构建了一个新的通用视觉骨干家族——HorNet。HorNet采用了多尺度特征融合和分层注意力机制等先进技术，进一步提高了网络的特征表示能力。在ImageNet分类、COCO对象检测和ADE20K语义分割等任务上的大量实验表明，HorNet在总体架构和训练配置相似的情况下，优于Swin Transformers和ConvNeXt。此外，HorNet还显示出良好的可扩展性，当使用更多的训练数据和更大的模型尺寸时，其性能可以得到进一步提升。
除了在视觉编码器中的有效性外，我们还发现gnConv可以应用于任务特定的解码器，并不断提高密集预测性能，以更少的计算量实现更好的结果。这一发现为我们在未来的研究中提供了新的思路和方法。
总之，HorNet作为一种新型的视觉骨干网络，通过递归门控卷积实现了高效的高阶空间交互，进一步提高了视觉任务的性能。我们相信，随着深度学习技术的不断发展，HorNet将在未来的计算机视觉领域中发挥越来越重要的作用。
对于读者来说，HorNet的实现并不复杂，可以通过阅读我们的源码和文档来了解更多细节。此外，我们也提供了丰富的实例和图表来解释抽象的技术概念，帮助读者更好地理解和掌握HorNet的核心思想和技术。
最后，我们希望HorNet能够为广大读者提供一种新的视觉建模基本模块，有效地结合了视觉Transformer和CNN的优点。我们相信，在未来的研究中，HorNet将会为计算机视觉领域带来更多的创新和突破。