本文提出了一种针对低级视觉任务的高效Transformer框架，通过改进窗口注意力机制，研究了Transformer在预训练中的应用，首次深入探讨了预训练如何影响模型内部表示并提供了有效预训练的见解。文章还介绍了ShiftedCrossedLocalAttention和CSWinTransformer结构，以及使用分组卷积的Anti-BlockingFFN模块。
EDT：On Efficient Transformer-Based Image Pre-training for Low-Level Vision
论文地址：On Efficient Transformer-Based Image Pre-training for Low-Level Vision
代码地址：fenglinglwb/EDT: On Efficient Transformer-Based Image Pre-training for Low-Level Vision
现阶段问题
预训练在high-level计算机视觉中产生了许多最先进的技术，但很少有人尝试研究预训练如何在low-level任务中。
主要贡献
-
提出了一个用于低级视觉的高效且通用的Transformer框架：改进window attention，分别从高、宽进行切块计算注意力。
-
是第一个对低级视觉的图像预训练进行深入研究的人，揭示了预训练如何影响模型的内部表示以及如何进行有效的预训练的见解
网络框架
Shifted Crossed Local Attention
CSWin Transformer: A General Vision Transformer Backbone with Cross-Shaped Windows基础上进行改进。
X = [ X 1 , X 2 ] , w h e r e X 1 , X 2 ∈ R ( H × W ) × C / 2 , X 1 ′ = H − M S A ( X 1 ) , X 2 ′ = V − M S A ( X 2 ) , ( S ) C L − M S A ( X ) = P r o j ( [ X 1 ′ , X 2 ′ ] ) , \begin{aligned} &\mathbf{X}=[\mathbf{X}_{1},\mathbf{X}_{2}],\mathrm{~where~}\mathbf{X}_{1},\mathbf{X}_{2}\in\mathbb{R}^{(H\times W)\times^{C/2}}, \\ &\mathbf{X}_{1}^{'}=\mathrm{H-MSA}(\mathbf{X}_{1}), \\ &\mathbf{X}_{2}^{^{\prime}}=\mathrm{V-MSA}(\mathbf{X}_{2}), \\ &(\mathrm{S})\mathrm{CL-MSA}(\mathbf{X})=\mathrm{Proj}([\mathbf{X}_{1}^{'},\mathbf{X}_{2}^{'}]), \end{aligned} X=[X1,X2], where X1,X2∈R(H×W)×
扫一扫
206
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
