Sparse-Winograd CNN结合Winograd快速卷积算法和网络剪枝，通过在Winograd域引入ReLU并进行权重剪枝，实现模型的稀疏加速。尽管该算法在实现3x3 Conv2D（stride=1）的CUDA自定义OP中表现出优势，但存在局限性，如依赖pooling进行降采样，不支持其他尺寸的Conv2D，且需要从头训练。在Resnet18上进行实验时，使用TensorPack平台进行训练。论文和代码可在提供的链接中获取。
Winograd快速卷积算法，能够实现3x3或5x5 Conv2D的有效加速，具体可参考Intel的介绍：https://ai.intel.com/winograd-2/
"Efficient Sparse-Winograd Convolutional Neural Networks"这篇文章将ReLU引入到Winograd域，获得了Activations在Winograd域的动态稀疏度，并在Winograd域对权重剪枝，获得了权重在Winograd域的静态稀疏度，进而将Winograd变换与网络剪枝相结合，有效实现了稀疏加速：
该算法的优点：用CUDA自定义了底层TensorFlow OP，支持3x3 Conv2D（stride=1）；缺点：主要存在一定的局限性，首先需要借助pooling实现降采样，其次暂不支持其他尺寸的Conv2D，且权重定义在winograd域，不方便预训练模型的使用，通常需要train from scratch（裸训），收敛速度较慢。
基于Sparse-Winograd CNN，Resnet18在ImageNet 2012上的训练过程如下（TensorPack作为训练平台）：
扫一扫
5244
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
