2025_NIPS_Spike-driven Transformer

原创 于 2026-06-29 10:15:00 发布 · 94 阅读 · 0 GEO检测
标签
#transformer #深度学习 #人工智能

文章主要内容和创新点总结

一、主要内容

该研究提出一种Spike-driven Transformer（脉冲驱动Transformer），旨在融合脉冲神经网络（SNNs）的低功耗优势与Transformer的高任务精度。核心是将脉冲驱动范式（事件驱动、二进制脉冲通信）全面融入Transformer架构，通过重新设计关键模块和调整网络连接方式，实现仅依赖稀疏加法运算的高效推理，同时保持优异的任务性能。

研究在静态数据集（ImageNet-1K、CIFAR-10/100）和神经形态数据集（CIFAR10-DVS、DVS128 Gesture）上进行了验证，在ImageNet-1K上实现77.1%的top-1准确率，达到SNN领域的当前最佳水平，且能量消耗远低于传统Transformer和现有脉冲Transformer。

二、核心创新点

  1. 全脉冲驱动架构设计：首次将脉冲驱动范式完整融入Transformer，网络全程仅涉及稀疏加法运算，无乘法操作，硬件友好，可高效部署于神经形态芯片（如TrueNorth、Loihi等）。
  2. 脉冲驱动自注意力机制（SDSA）：替换传统自注意力中的矩阵乘法、softmax和缩放操作，采用掩码（Hadamard乘积）、列求和与脉冲神经元层实现注意力功能，在token和通道维度均具有线性复杂度，能量消耗较传统自注意力降低87.2倍。
  3. 膜电位残差连接（Membrane Shortcut）：
了解本专栏 订阅专栏 解锁全文 超级会员免费看
#从零到一搭建微博情感分类系统：基于BiLSTM的PyTorch完整实战教程【3W字保姆级详解】
2401_88566519的博客
06-24 432
项目使用的是0 → 喜悦1 → 愤怒2 → 厌恶3 → 低落每条数据由两部分组成：第一列为标签（0-3的数字），第二列为微博文本内容。数据集为字符级处理，无需分词，直接按汉字拆分即可。为什么使用字符级而非词语级？对于中文短文本（如微博），字符级处理可以规避分词错误带来的误差，且词表规模更小，模型训练更快，非常适合入门级情感分类任务。函数定义与文档字符串函数接收三个参数：语料文件路径、词表最大尺寸、最低词频。文档字符串清晰说明了函数功能和参数含义，这是工程化代码的好习惯。
深度学习知识点
06-23 314
但一个“全连接网络”如果不包含隐藏层（比如只有输入直接映射到输出的单层感知机），或者结构上不满足多层非线性变换的条件，那它。这 m 个数据必须要有 m 个输入神经元来“接住”它们，然后分别通过 m 条独立的连接线（权重），传递给下一层（第一个隐藏层）的每一个神经元。假设你的数据集是一个表格，有 m 列（比如：年龄、工资、身高），那么你的输入特征维度就是 m。这种层与层之间的“两两相连”就是“全连接”名称的由来。3.多层感知机的第一层的神经元的数目等于输入特征向量的维度。1.全连接网络是指神经网络中的。
R1周：Pytorch｜RNN-心脏病预测
2301_80985954的博客
06-26 255
什么是循环神经网络（RNN）？前面学过的CNN（卷积神经网络）擅长处理图像这种空间结构数据，但它没法处理文本中这种先后的联系。比如，看一句话我今天心情好，CNN可以提取每个字的特征，但它不知道"今天"在"心情"前面，也不知道"我"是这句话的主语。而RNN的核心思想是：网络在处理当前时刻的输入时，会同时记住上一时刻的状态，然后把两者结合起来做判断。这次做实验让我对RNN有了简单理解。简单说，RNN 就是一个会记事的神经网络。
深度学习领域全程指导
y1234567891001的博客
06-27 219
深度学习方向需要指导的朋友请私信！！！
基于CNN的R-CNN 到Fast R-CNN 再到 Faster R-CNN
追赶时代的博客
06-26 340
本文系统梳理了R-CNN系列目标检测算法的技术演进历程，从基础CNN到前沿DeformableDETR，揭示了计算机视觉领域的关键突破与设计思想。主要内容包括： 基础架构演进 CNN作为特征提取器 R-CNN开创性工作（选择性搜索+SVM） Fast R-CNN引入RoI池化 Faster R-CNN提出RPN网络 后续Mask R-CNN等扩展任务边界 核心技术创新 特征共享机制（计算效率提升2000倍） 端到端训练范式 多尺度处理（FPN特征金字塔） 几何形变建模（可变形卷积） 前沿发展 Deforma
【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(一学就会的深度学习基础算法详解)
承渊政道的博客
06-27 1461
本文介绍了反向传播神经网络(BP神经网络)的发展历程与基本原理。文章首先回顾了人工神经网络的历史沿革，从1930年的ADALINE网络到1980年代BP算法的提出，重点阐述了BP神经网络的核心思想及其在深度学习中的重要性。BP神经网络通过误差反向传播和梯度下降优化参数，由输入层、隐含层和输出层组成，能够有效解决非线性问题。文中还展示了BP神经网络的结构示意图，并强调了其在模式识别、函数逼近等领域的广泛应用。作为深度学习的基础，BP神经网络至今仍是重要的研究方向。
吴恩达《深度学习》之看懂注意力机制的“精准一瞥”
m0_74435839的博客
06-24 310
多头注意力机制。语言是极其复杂的。当我们看到一句话里的某个词时，我们往往需要同时关注很多不同的维度。比如看这句话：“那只巨大的猫懒洋洋地躺在垫子上，它刚刚吃了鱼。当我们盯着“猫”我们的左眼可能需要关注它的修饰语（什么猫？——巨大的猫）；我们的右眼可能需要追踪它的代词指代（谁吃了鱼？——“它”指的是猫）。如果我们只有“一双眼睛”（单头注意力机制），网络在同一时间只能计算出一组α\alphaα。它如果去看了“巨大的”，就没办法同时去死死盯着“它”。
理解RNN：Learning long-term dependencies with gradient descent is difficult
weixin_45209433的博客
06-24 276
为什么说记住了h1，因为即使到后面100个时刻，a100仍然大于0，说明输入h1>0，a100>0，当然h1<0，a100<0，这个可以自行计算，这就是过去的信息仍然存在于当前状态。之后如果没有输入，RNN持续输出0.957左右，根据上的计算可可以知道，隐藏值a一直在1.9左右，处于tanh的饱和区，所以输出经过tanh后，输出在0.957左右。这是只有1个神经元的RNN，我们通过举例子，来说明下RNN的内部具体是怎么操作的，以及其特点，假设w =2, a0 = 0，给予的输入是正值。
RNN-心脏病预测
mioling3o的博客
06-26 43
本周正式跨入序列数据处理的领域，主要围绕循环神经网络（RNN）展开了深度的理论学习与代码实战。与之前处理静态图像的 CNN 不同，本周学习的 RNN 核心在于其特有的隐藏状态（Hidden State）。它能够将前一个时间步的信息传递给下一个时间步，这使得网络具备了理解上下文因果关系的能力。在实战中，我们掌握了如何将传统的二维表格数据（心血管生理指标）转化为 RNN 所需的三维张量格式 (样本数, 时间步长, 特征数)，为后续的时序网络处理打下了坚实的数据基础。
【深度学习】蒲公英书笔记 | 环境配置、张量基础速查
Crocodile1006的博客
06-26 314
本文为《神经网络与深度学习》（蒲公英书）第1章的学习笔记
深度学习迁移学习与域适应 —— 知识的搬运术（八十七）
hello.reader
06-24 190
迁移学习和域适应指的是利用一个情景（如分布P1P_1P1​）中已经学到的内容，去改善另一个情景（如分布P2P_2P2​）中的泛化情况。在迁移学习中，学习器必须执行两个或更多个不同的任务，但我们假设能够解释P1P_1P1​变化的许多因素和学习P2P_2P2​需要抓住的变化相关。在域适应的相关情况下，每个情景之间任务（和最优的输入到输出映射）都是相同的，但输入分布稍有不同。迁移学习：任务不同域适应：任务相同，输入分布不同。
计算机视觉中卷积神经网络的综述（下）
追赶时代的博客
06-27 225
本文综述了卷积神经网络（CNN）在计算机视觉领域的架构研究进展，重点探讨了图像分类、目标检测和视频预测三大任务。文章详细介绍了CNN的基本组件（如梯度下降、批归一化、Dropout等）及其优化方法，分析了LeNet、AlexNet、VGG、ResNet等经典模型的演进与创新。在目标检测领域，比较了两阶段（R-CNN系列）和一阶段（YOLO系列）检测器的性能特点。视频预测部分则讨论了基于LSTM、Transformer等模型的时序预测方法。文章还总结了CNN面临的挑战（如模型解释性、计算成本等）和未来方向。
通用表格识别技术通过深度学习与计算机视觉，实现了复杂表格的高精度数字化解析
智能图像识别
06-22 432
摘要：通用表格识别技术通过深度学习与计算机视觉，实现了复杂表格的高精度数字化解析。该技术采用CNN+Transformer融合架构，支持有线/无线表格检测、结构还原与文字识别同步处理，具备多级表头识别、跨页续接等能力，在金融、政务、医疗等领域广泛应用。相比传统OCR，其突破性在于保留表格行列关系与合并单元格结构，将静态图像转化为可计算数据，解决了低质量文档识别难题，显著提升了企业数据自动化处理效率，成为数字化转型的关键基础设施。
LeNet-5 详解：从一只猫的图片看懂卷积神经网络的经典架构
qq_879829564的博客
06-25 277
98 年 Yann LeCun 团队提出的 LeNet-5 是首个完整的卷积神经网络架构，奠定了现代 CNN 的基本范式（卷积-池化-全连接）。本文通过 PyTorch 复现该网络，以一张 32×32 的猫咪灰度图为例，逐步展示数据在各层的变换过程。 实验从输入预处理开始，详细记录了卷积层 C1（6个5×5卷积核）的特征图生成过程，包括手动验证卷积计算、可视化6个28×28特征图，并分析 tanh 激活后的数值分布。随后数据经过 S2 池化层下采样为 6 个14×14特征图，展示了 2×2 最大池化的压缩效
pytorch搭建ANN和CNN
最新发布
Jsjendndn的博客
06-28 30
小明创办了一家手机公司，他不知道如何估算手机产品的价格。为了解决这个问题，他收集了多家公司的手机销售数据。等）与其售价之间的某种关系。我们可以使用机器学习的方法来解决这个问题，也可以构建一个全连接的网络。该数据为二手手机的各个性能的数据，最后根据这些性能得到。个价格区间，作为这些二手手机售出的价格区间。搭建CNN实现图像分类CIFAR10。需要注意的是: 在这个问题中，我们。，所以该问题也是一个。
AI学习-阶段三-深度学习学习笔记
AI_Encyc的博客
06-27 423
定义一个用于分类的简单网络nn.Linear(4, 16), # 输入4个特征，隐藏层16个节点nn.ReLU(), # 激活函数nn.Linear(16, 3) # 隐藏层16个节点，输出3个类别神经网络就像一个多层过滤器，每一层都把数据变得更"抽象"、更有用，最后一层给出答案。图片大小 = 输入层节点数28×28 = 784 个像素 → 输入层有 784 个节点图片大小像素数特点28×28784MNIST 手写数字，简单任务够用224×22450,176。
NLP基础（RNN，LSTM，GRU）
Maxwell_Newton的博客
06-22 363
则引入一个重要的思想，编码器-解码器架构，先用多次循环读入全部输入，这被称为编码阶段，这个阶段没有输出，再把编码阶段的记忆传递下去，每一步都输出一个token，然后新的输入为上一步的记忆+上一步的输出token。前面的RNN很容易发现一个问题，推理都是从前往后读的，也就是生成第i个token的隐状态时，只能看到前i个token，但现实文本很容易出现的情况是，一个词的含义不仅要看上文，还要看下文，比如。RNN的关键是，会在隐藏层传递记忆，单看隐藏层的话，是一个循环的过程，这也是循环神经网络名字的由来。
吴恩达《深度学习》之看懂 Inverted Dropout
m0_74435839的博客
06-28 345
训练期随机斩断神经元⟹信号方差与期望值自发布下挫k⟹漏掉缩放导致测试集发生数值断层\text{训练期随机斩断神经元} \implies \text{信号方差与期望值自发布下挫 } (k) \implies \text{漏掉缩放导致测试集发生数值断层}训练期随机斩断神经元⟹信号方差与期望值自发布下挫k⟹漏掉缩放导致测试集发生数值断层在训练期除以keepprob⟹强行将残存信号放大1k倍⟹训练与测试达成期望值完美守恒⟹。
CNN基础算子池化层详解：原理、功能与Zynq FPGA工程落地全解析
瘦子
06-27 218
池化层是CNN中看似简单、却至关重要的基础算子。它没有复杂的乘加运算，却从计算量、特征质量、感受野三个维度支撑起整个卷积神经网络的高效运行。对于FPGA AI加速开发而言，实现并验证池化IP，是从「单个卷积算子」迈向「完整卷积块」的关键一步。掌握了卷积+ReLU+池化的标准单元后，后续所有CNN网络的加速实现，本质都是该单元的堆叠与扩展。系列文章预告：下一篇将完整讲解「卷积+ReLU+池化」三级联的硬件集成与软硬件联调，跑通完整的CNN基础加速单元。
深度学习结构化概率模型——有向与无向图模型 —— 用图描述概率（八十九）
hello.reader
06-24 91
结构化概率模型通过图结构描述高维数据变量间的直接相互作用，解决维度灾难问题。有向图模型（贝叶斯网络）适用于明确因果关系的场景（如接力赛），通过局部条件分布分解联合概率。无向图模型（马尔可夫随机场）适用于双向交互场景（如感冒传染），通过团因子乘积表示未归一化概率。两者均显著减少参数规模，但无向模型需额外计算配分函数进行归一化。选择模型类型取决于变量间作用是否具有方向性，图结构编码的条件独立性是概率分解的数学基础。** （字数：150） 核心要点： 维度灾难：朴素查表法不可行，需结构化建模 图模型价值：边
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值