深入理解transformer源码

下面的PAD表示填充，填充就是当句子长度不满足max_len时候，会填充pad。## 这里有两个数据进行输入，一个是enc_inputs 形状为[batch_size, src_len]，主要是作为编码段的输入，一个dec_inputs，形状为[batch_size, tgt_len]，主要是作为解码端的输入。一定需要注意的是这里得到的矩阵形状是batch_size x len_q x len_k，我们是对k中的pad符号进行标识，并没有对q中的做标识，因为没必要（尚未理解，有理解的小伙伴评论私信奥）

输入经过词向量层和位置编码层，得到最终的输入，通过掩码注意力机制，然后交互注意力机制与Encoder的输出做交互，Encoder的输出做K矩阵、V矩阵，Decoder的值做Q矩阵，再经过前馈神经网络层，得到Decoder的输出，解码端是没法并行的，因为输入【S】，输出【I】，然后输出的【I】作为下一阶段的输入，这一次的输入取决于上一次的输出，所以解码端无法并行，如果当前输入为【S】，则后面的【卷起来】被遮挡，当输入为【S卷】时，后面的【起来】被遮挡，形成上三角矩阵为1的矩阵，如何去掉PAD信息？

在看Transformer源码前，必须要先从李宏毅/李沐那里把注意力机制/自注意力/多头注意力的原理和Transformer的架构原理先搞明白，才可以看得懂代码。我是先把多头自注意力机制那块公式/代码手推过一遍之后，再结合up主的讲解补充了mask和position encoding，就能搞懂transformer了。如果有学不懂的欢迎评论/私信加qq交流，也当是自己巩固知识。在up主的注释下增加了一些自己的注释。

Python 用pytorch从头写transformer源码，一行一解释；机器翻译实例代码；超详细实现Transformer代码；transformer源码解读

https://www.cnblogs.com/zingp/p/11696111.html

原文链接：https://blog.csdn.net/zhaojc1995/article/details/109276945 参考资料： transformer原论文 深入理解transformer及源码 图解Transformer（完整版） The Annotated Trans

禁止一切任何形式的转载 结合源码的Transformer全网最全面、最深度的解析

Transformer代码详细解读

Pytorch中的torch.nn.modules.Transoformer.py源码分析 最近想换个思路用Transformer来做实验，但对于目前比较流行的Transformer实现还较为生疏，看到pytorch中有比较简单（主要依据17年的Attention Is All You Need论文编写，没有较大的改动）的实现方法，因此想拿来作为模板分析一下来加强对Transformer的理解......

原文链接：https://www.cnblogs.com/zingp/p/11696111.html#_label10 阅读目录1 模型的思想2 模型的架构3 Embedding3.1 Word Embedding3.2 Positional Encoding4 Encoder4.1 Muti-Head-Attention4.1.1 Self-Attention4.1.2 Add & Norm4.2 Feed-Forward Network5 Decoder5.1

传统transformer将图像作为一个个的patch，每个patch作为序列的一小部分，传统的尽可能将patch分的细一点，但此时需要构建更长的序列，则token就越多。但是计算还按照四个窗口计算，即4还当做其中一个，然后5和3当做一块，1和7当做一块，0、2、6、8四个当做一块，等于还是四块。第一次是64个窗口，第二次就变为16个窗口，第三次变为4个窗口，第四次变为1个窗口，选择7是因为7算的开。7=49个点，每个点输入为96维向量，此时的96维向量还表示了与窗口内其他token点的关系。

什么是自然语言处理（NLP）什么是循环神经网络（RNN、LSTM【长短期记忆循环】、GRU【门控循环】）什么是大模型（具有较大规模和复杂性的模型）了解OpenAI、谷歌、等相关公司、企业。

本文详细讲解了作者学习Transformer源码的过程与思考

模型架构 Encoder： N个block组成，每个block由一个自注意层和+一个FFN层组成 Decoder： N个block组成，每个block由一个masked自注意层+交叉注意层+FFN层组成 交叉注意层——q来自decoder；k，v来自encoder的输出 位置编码： 位置编码会随着残差计算向后传播 源码 有五个相关类： Transformer TransformerEncoder TransformerDecoder TransformerEncoderLayer Transformer

看了许多 Transformer 的文章感觉还是有点抽象，本文将根据 Pytorch 代码从原始输入到最终输出完整走一遍。

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：安晟&闫永强，Datawhale成员本篇正文部分约1...

谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。论文发出不久，就有人用tensorflow实现了Transformer模型,本文对其代码进行细致的分析。