2025_NIPS_Lightweight Vision Transformer with Bidirectional Interaction

文章总结与翻译

一、主要内容

本文聚焦轻量级视觉Transformer的优化，针对现有模型在局部与全局上下文双向交互建模不足的问题，提出了一种全新的全自适应自注意力（FASA）机制，并基于该机制构建了全自适应Transformer（FAT）系列轻量级视觉骨干网络。

核心技术框架

1. FASA机制：灵感源自人类视觉系统，包含三个关键模块
   • 局部自适应聚合：通过自调制卷积嵌入上下文感知能力，自适应提取局部特征；
   • 全局自适应聚合：采用细粒度下采样策略优化自注意力，在降低计算成本的同时减少全局信息丢失，高效提取全局特征；
   • 双向自适应交互：通过跨调制实现局部与全局特征的双向作用（局部到全局、全局到局部），建模两者间的复杂关系。
2. FAT网络架构：采用分层设计，每个FAT块由条件位置编码（CPE）、FASA模块和卷积前馈网络（ConvFFN）组成，ConvFFN通过深度卷积实现下采样，避免额外的patch合并模块，节省参数。

实验验证

在ImageNet-1K图像分类、COCO目标检测与实例分割、ADE20K语义分割等多个任务上进行了广泛实验：

• FAT-B0仅用4.5M参数和0.7G FLOPs实现77.6%的ImageNet-1K Top-1准确率，超越同类参数规模的先进ConvNets和Transforme