MicroGrad是一个由AndrejKarpathy编写的轻量级神经网络库，基于90行Python代码实现标量反向传播。它提供了类似PyTorch的API，帮助理解深度学习框架底层原理。文章介绍了MicroGrad的自动微分引擎Engine，包括Value类如何存储标量值及其梯度，并通过运算符重载实现计算图的构建和反向传播。此外，还展示了如何使用MicroGrad构建简易神经网络，如MLP。
一、MicroGrad
MicroGrad是大牛Andrej Karpathy写的一个非常轻量级别的神经网络库(框架)，其基本构成为一个90行python代码的标量反向传播(自动微分)引擎，以及在此基础上实现的神经网络层。
其介绍如下：
A tiny scalar-valued autograd engine and a neural net library on top of it with PyTorch-like API
Andrej Karpathy时长2.5小时的通俗易懂的讲解，一步一步教你构建MicroGrad。学习完视频，相信可以一窥现代深度学习框架的底层实现。Bili视频链接：https://www.bilibili.com/video/BV1aB4y13761/?vd_source=e5f3442199b63a8df006d57974ad4e23
Github链接：https://github.com/karpathy/micrograd
项目除了框架源码外，给出了基于该库在一个二分类数据集上训练了一个2层MLP，源码为demo.ipynb。
此外，给出了基于graphviz库的神经网络计算图可视化notebooktrace_graph.ipynb，可以形象地观察前向和反向传播过程。
接下来将简要介绍一下其标量反向传播引擎engine.py和神经网络层nn.py。
二、标量反向传播引擎Engine
2.1 反向传播与自动微分
反向传播的核心就是链式法则，而深度神经网络的反向传播最多再加一个矩阵求导。
在反向传播的过程，本质是求网络的每个参数关于最终损失函数的梯度，而该梯度可以成是回传的全局梯度和局部梯度之乘。
形象地说，梯度代表了当前层参数的变化，对最终预测损失的影响(变化率)，而该
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
