GEMM优化、并行优化、算子优化，从BLISlab项目入手！

采用最navie的GEMM算法，在GPU中，一共开启m*n个线程，每个线程需要读取矩阵A的一行和矩阵B的一列，而后将计算结果写回矩阵C中。其中，M=m/bm，N=n/bn，K=k/bk。当进行K轮迭代中某一轮迭代时，GPU将维度为bm*bk，bk*bn的小矩阵块存储到shared memory中，而后各个线程将shared memory中的数据存入register中进行计算。在完成以上的过程后，对于一个线程而言，它现在拥有：rm个A矩阵的寄存器值，rn个B矩阵的寄存器值，一级rm*rn个C矩阵的寄存器值。

之前优化一个推荐系统的模型，里面有大量的 Embedding 查表和矩阵乘法。Embedding 还好说，主要是后面的矩阵乘法部分，batch 上了规模之后延迟下不来。用Profile 一跑，发现GEMM 的计算效率只有 52%——这意味着将近一半的算力在空转。这篇文章聊聊如何把 GEMM 的效率调到 85%+，让每一帧算力都不浪费。GEMM（General Matrix Multiplication）是深度学习的绝对核心。Embedding 查表、全连接层、注意力机制，哪一个背后不是 GEMM。

1. 什么是OpenBLAS 1.1. BLAS 1.2. 功能 1.3. 使用 1.3.1. 编译 1.3.2. 调用 1.3.3. 定制化 2. OpenBLAS实现 2.1. TOP_DIR 2.2. 软件层次 2.3. Interface层 2.4. driver层 2.5. kernel层 2.6. 测试 3. OpenBLAS的特点 4. 疑问 5. 附录1 reference 6. 附录2 背景概念 6.1. SMT & HT 6.2. SMP 1. 什么是.

矩阵乘法GEMM(Generalmatrixmultiply)是一个被广泛使用的基础算法，各种领域都需要应用，例如神经网络的核心计算任务就是矩阵乘法，交易中的各种信号计算也可能用到矩阵乘法。因此矩阵乘法的效率是极其关键的。关于如何优化矩阵乘法，我准备写一个较短的系列博文，包括CPU单线程篇、CPU多线程篇、GPU篇。原本计划还有一个稀疏矩阵乘法篇，由于这学期毕业前也没有时间把GPU篇做到满意，因此，稀疏矩阵篇就没了，GPU篇也很不完整。如果日后有时间且有那冲动可能会补上（大概率没有）。...

前言 神经网络前向耗时主要由卷积的耗时决定，参考賈杨青毕业论文，那么如何对卷积加速便成了重要的一个点，主流的加速方法有 以下几种： im2col+GEMM：目前几乎所有的主流计算框架包括 Caffe, MXNet 等都实现了该方法. 该方法把整个卷积过程转化成了GEMM过程，而GEMM在各种 BLAS 库中都是被极致优化的，一般来说，速度较快。 Winograd： Winograd 是存在...

本项目记录了在riscv平台上优化SGEMM（单精度浮点通用矩阵乘法）的过程。 通用矩阵乘（General Matrix Multiplication，简称gemm）是深度学习框架的核心计算单元之一，广泛用于Convolution、Full connection、Matmul等算子实现。

GEMM(General Matrix Multiply)算子优化（CPU版，内含运行代码）

很多刚入门Tengine的开发者想研读Tengine汇编代码，却苦于没有好的汇编入门教程，没有大神带入门，自己看又看不懂，怎么办？福利来了，Tengine带来了一份超详细的gemm汇编教程。GEMM简介什么是GEMM? 它的英文全称是 GEneral Matrix to Matrix Multiplication (通用矩阵的矩阵乘法)，Gemm在神经网络的计算中占据很重要的位置。Why...

BLAS (basic linear algebra subprogram) 是线性数学的基本计算，包括标量，矢量，矩阵之间的计算，分别称为Level1~3的操作。由于level3的操作复杂度较高，于是产生了针对不同平台做优化的BLAS实现，包括 AMD Core Math Library (ACML), Arm Performance Libraries, ATLAS, Intel Math Kernel Library (MKL), 及我们要介绍的 OpenBLAS。

HighPerformanceComputing 高性能计算(High performance computing， 缩写HPC) 指通常使用很多处理器（作为单个机器的一部分） 或者某一集群中组织的几台计算机（作为单个计 算资源操作）的计算系统和环境。 有许多类型的HPC 系统，其范围从标准计算机的大型集群，到高度专用的硬件。 大多数基于集群的HPC系统使用高性能网络互连，...

前两节探讨的是传统优化矩阵乘的两者思想，近年来兴起的神经网络中广泛应用的矩阵乘也可用类似方法优化（实际上深度学习软件可以直接使用已有的数学加速库，如 BLAS）。随着技术的演进，神经网络技术出现了一个重要的方向——神经网络量化。在常规的数据规模中，由于左侧会发生太多的高速缓存缺失，又由于矩阵乘这样的计算对数据的访问具有很高的重复性，将它重排成右侧的内存布局减少高速缓存缺失，可显著地改进性能。到目前为止（2019 年中），QNNPACK 是已公开的，用于移动端（手机）的，性能最优的量化神经网络加速库。

探索BlisLab：高效、灵活的数据科学平台 去发现同类优质开源项目:https://gitcode.com/ BlisLab是一个现代化的数据科学工作台，旨在提供一个一体化的环境，让用户能够轻松地进行数据预处理、建模、可视化和协作。该项目基于开源技术和云服务，为数据科学家和工程师提供了强大的计算资源和友好的使用体验。 项目简介 BlisLab的核心理念是打造一个全方位的数据科学工具链，它将常见的...

用于记录阅读分析OpenBLAS源代码的各种知识点，防止遗忘。这里主要记录OpenBLAS的代码结构，因为确实比较复杂，直接看源代码很可能比较蒙比，如果知道其结构，看起来就比较轻松了。至于OpenBLAS矩阵乘法的算法，这篇不涉及，我会在另一篇文章中简单（瞎jb）分析。OpenBLAS代码总体上可以分成三个层次：1.接口层 在OpenBLAS接口层中，运算又分为三个类型，分别是level1到3，

函数依赖，是多列统计信息的一种，可以描述属性之间的关联关系，其主要用途是提高选择率估算的准确性。"，此时的转移状态初始化后为两个参数(total, count)，然后遍历表的所有元组，total执行累加操作，count执行自增操作，最后把total/count和total分别作为avg函数和sum函数的返回结果。新型选择率模型充分利用基于直方图的统计信息，平衡计算量与准确性，充分考虑数据分布情况，通过轻量的计算，提高对低频值的估算准确率，能够使得优化器生成更优的执行计划，进而提高查询效率。

在深度学习模型特别是LLM（Large Language Model）的推理优化中，HGEMV（Half-precision General Matrix Vector Multiplication）半精度矩阵向量乘法的优化日趋重要。然而Cublas没有提供直接计算HGEMV的API，只能使用cublasGemmEx等相关API来间接调用Tensor Core计算HGEMV。

矩阵乘法的基本思路是将两个矩阵相应位置的元素相乘，并累加得到结果矩阵的对应位置的元素。设AAA为形状为m×km\times km×k的矩阵，BBB为形状为k×nk \times nk×n的矩阵，则得到的矩阵CCC形状为m×nm \times nm×n，其中第iii行第jjj列的元素为Cij∑r1kAirBrjCij​r1∑k​Air​Brj​。