【YOLOv11改进-卷积Conv】ACmix(Mixed Self-Attention and Convolution) ：自注意力与卷积混合模型

摘要

卷积和自注意力是两个强大的表示学习技术，通常被认为是彼此独立的两种同级方法。在本文中，我们展示了它们之间存在一种强有力的内在联系，从计算的角度来看，这两种范式的主要计算实际上是通过相同的操作完成的。具体来说，我们首先展示了传统的k×k卷积可以分解为k^2个1×1卷积，再加上位移和求和操作。然后，我们将自注意力模块中查询、键和值的投影解释为多个1×1卷积，再计算注意力权重并聚合值。因此，这两个模块的第一阶段包含了相似的操作。更重要的是，与第二阶段相比，第一阶段在计算复杂度上占据主导地位（通道数的平方）。这一观察自然引出了这两种看似不同的范式的优雅整合，即一种混合模型，它同时享有自注意力和卷积的优势（ACmix），并且相比纯卷积或自注意力方法具有最低的计算开销。大量实验表明，我们的模型在图像识别和下游任务中相较于竞争性基线始终取得了更好的结果。代码和预训练模型将发布在 https://github.com/Panxuran/ACmix 和 https://gitee.com/mindspore/models。

创新点

1. 发现共同操作