分布式训练，DP,DDP，模型训练，模型加载（非常详细）

原创 已于 2023-12-10 16:44:50 修改 · 1.9k 阅读 · 7
标签
#深度学习
于 2023-04-14 10:42:09 首次发布
文章介绍了分布式训练的三种主要方式：模型并行、数据并行和更新方式（同步、异步）。在GPU训练中，讨论了如何使用`torch.cuda`进行数据和模型的迁移，并提到了ParameterServer和AllReduce算法。此外，还阐述了在单机多卡环境下的DP（DataParallel）和DDP（DistributedDataParallel）训练策略以及模型的保存与加载方法。

目录

分布式训练分为几类——

GPU训练

torch.cuda 常用方法

分布式训练分为几类：

1.并行方式：模型并行、数据并行

2.更新方式：同步更新、一部更新

3.算法：parameter server 算法、AllReduce算法

（1）模型并行：不同GPU输入相同的数据，运行模型的不同部分，比如多层网络的不同层

数据并行：不同GPU输入不同的数据，运行相同的完整的模型

                              模型并行                                                          数据并行

当模型

最低0.47元/天 解锁文章
环境配置与基础教程：多机多卡分布式训练实战：基于 SLURM 集群调度 YOLOv11，大幅缩短训练周期
最新发布
ZXSXJ的博客
05-11 40
摘要： 本文详细介绍了YOLOv11分布式训练在SLURM集群中的完整实现方案。针对单卡训练效率低、环境配置复杂等问题，提出基于多机多卡的分布式优化路径，涵盖硬件选型、RDMA网络配置、PyTorch环境搭建及容器化部署方案。重点解析了YOLOv11的架构演进与核心模块（如C3k2动态卷积），并对比了与YOLOv8的性能差异。通过SLURM调度系统与NFS共享存储，实现训练任务的高效资源分配和数据同步。文中所有配置均基于Ultralytics最新版本验证，为大规模目标检测任务提供了一套可复现的工程实践框架。
深度学习框架 —— 分布式训练
RJ_theMag的博客
08-07 3155
分布式训练的动机很简答：单节点算力和内存不足，因此不得不做分布式训练。训练机器学习模型需要大量内存。假设一个大型神经网络模型具有 1000 亿的参数（LLM 时代有不少比这个参数量更大的模型），每个参数都由一个 32 位浮点数（4 个字节）表达，存储模型参数就需要 400GB 的内存。在实际中，我们需要更多内存来存储激活值和梯度。假设激活值和梯度也用 32 位浮点数表达，那么其各自至少需要 400GB 内存，总的内存需求就会超过 1200GB（即 1.2TB）。
Pytorch 分布式训练（DP/DDP）
热门推荐
ytusdc的博客
12-23 3万+
1、分布式训练：模型并行和数据并行 分布式训练根据并行策略的不同，可以分为模型并行和数据并行。 模型并行：是网络太大，一张卡存不了，那么拆分，然后进行模型并行训练。 数据并行：多个显卡同时采用数据训练网络的副本。 模型并行不是这里的讨论重点 1.1、数据并行 数据并行的操作要求我们将数据划分成多份，然后发送给多个 GPU 进行并行的计算。 注意：多卡训练要考虑通信开销的，是个trade off的过程，不见得四块卡一定比两块卡快多少，可能是训练到四块卡的时候通信开销已经占了大头 下面是一个简单的
分布式训练 - 多机多卡 (DDP)
love1005lin的博客
05-06 1万+
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.GPU训练 ----3.单机多卡的使用 ----4.多机多卡的使用 在前边的文章中已经提到了怎样进行单机单卡和单机多卡进行分布式训练，那可能有小伙伴会有疑问能不能进行多
理论+实践，带你了解分布式训练
华为云官方博客
05-08 1994
详细介绍分布式机器学习系统的基础概念、分布式训练集群架构、分布式训练并行策略，并以DeepSpeed 为例介绍如何在集群上训练大语言模型。
分布式训练
Swift's Blog
08-11 5238
在面试中，遇到有些面试官会问分布式训练的有关问题，在此总结一下。 分布式训练的并行方式主要分如下两种： 数据并行：将数据集切分放到各计算节点，每个计算节点的计算内容完全一致，并在多个计算节点之间传递模型参数。数据并行可以解决数据集过大无法在单机高效率训练的问题，也是工业生产中最常用的并行方法。 模型并行：通常指将模型单个算子计算分治到多个硬件设备上并发计算，以达到计算单个算子计算速度的目的。一般会将单个算子的计算，利用模型并行的方式分配在配置相同的几个硬件上，进行模型存储和计算，以保证计算步调一致。 这
torch DDP多卡训练教程记录
11-10 1689
简明教程看这里 -->--》 详细解答了pipeline减少GPU占用看这里 -->--》解答了如何先加载到cpu解决0卡显存占用过多问题DDP模型加载和保存看这里 – >--》解释和解决ddp模型名被更改后如何保存加载的问题多机多卡更多看这里 -->--》有更细致的讲解。
PyTorch 深度剖析：并行训练的 DP 和 DDP 分别在什么情况下使用及实例
算法码上来
06-14 1967
↑ 点击蓝字关注极市平台作者丨科技猛兽编辑丨极市平台极市导读这篇文章从应用的角度出发，介绍 DP 和 DDP 分别在什么情况下使用，以及各自的使用方法。以及 DDP 的保存和加载模型的策略，和如何同时使用 DDP 和模型并行 (model parallel)。>>加入极市CV技术交流群，走在计算机视觉的最前沿目录1 DP 和 DDP 分别在什么情况下使用...
Pytorch 使用多块GPU训练模型
tiancanucas的博客
04-29 6798
1. 先确定几个概念： ①分布式、并行：分布式是指多台服务器的多块GPU(多机多卡)，而并行一般指的是一台服务器的多个GPU(单机多卡)。 ②模型并行、数据并行：当模型很大，单张卡放不下时，需要将模型分成多个部分分别放到不同的卡上，每张卡输入的数据相同，这种方式叫做模型并行；而将不同的数据分配到不同的卡上，运行相同的模型，最后收集所有卡的运算结果来提高训练速度的方式叫数据并行。相比于模型并行，数据并行更为常用，以下我们主要讲述关于数据并行的内容。 ③同步更新、...
PyTorch多卡训练：DataParallel与DDP详解
weixin_35826166的博客
12-25 739
深入解析PyTorch中DataParallel与DistributedDataParallel的原理与使用差异，揭示单机多卡训练中的负载不均、通信开销问题，并提供DDP实战配置与避坑指南，帮助实现高效分布式训练。
pytorch 分布式训练
Billie使劲学的博客
12-26 4146
神经网络训练加速的最简单方法是使用GPU，对弈神经网络中常规操作（矩阵乘法和加法）GPU运算速度要倍超于CPU。随着模型或数据集越来越大，一个GPU很快就会变得不足。例如，BERT和GPT-2等大型语言模型是在数百个GPU上训练的。对于多GPU训练，需要一种在不同GPU之间对模型和数据进行切分和调度的方法。PyTorch是非常流行的深度学习框架，它在主流框架中对于灵活性和易用性的平衡最好。和。DataParallel更易于使用（只需简单包装单GPU模型）。
【深度学习】分布式训练
千禧皓月的博客
08-27 2323
最近开始上手进行分布式训练，于是在网上开始搜各种教程和资料，看到了许多写得很好的文章，但是有些文章又不是特别的全面，于是决定对这些文章进行归纳和总结，方便后来者的学习和查阅。这里友情提醒一下，大家查资料的时候不要仅仅局限于百度，有时候在百度上查半天，不如去官方文档或者google搜一下，立马就能看到很多优质的解答。
深度学习分布式训练
yaohaishen的专栏
06-02 2283
主要从以下几个方面进行总结：分布式训练的基本原理TensorFlow的分布式训练PyTorch的分布式训练框架Horovod分布式训练无论哪种机器学习框架，分布式训练的基本原理都是相同的。本文主要从 并行模式、架构模式、同步范式、物理架构、通信技术 等五个不同的角度来分类。分布式训练的目的在于将原本巨大的训练任务拆解开撑多个子任务，每个子任务在独立的机器上单独执行。大规模深度学习任务的难点在于：训练数据巨大：这种情况我们需要将数据拆解成多个小模型分布到不同的node上训练模型的参数巨大(NLP的预训练模型实
Pytorch 分布式训练DistributedDataParallel （1）概念篇
weixin_43229348的博客
04-14 2430
分布式训练就是指在很多台机器上（每台机器有多个GPU）进行训练，之所以使用分布式训练的原因有两种：第一、模型在一块GPU上放不下；第二、使用多块GPU进行并行计算能够加速训练。但需要注意的是随着使用的GPU数量增加，各个设备之间的通讯会越复杂，导致训练速度下降。 分布式训练主要分为两种类型：数据并行（Data Parallel）和模型并行（Model Parallel）。 1.数据并行（Data Parallel） 当数据量非常大，并且模型架构能够放置在单个GPU上时候，就可以采用数据并行化的方式进行分工合
分布式训练：（Pytorch）
qq_55794606的博客
09-16 2558
数据加载：使用多个进程来并行加载和预处理数据，通过流水线处理减少数据加载的延迟。数据传输：利用 CUDA 流优化从固定内存到 GPU 的数据传输。数据并行性：使用数据并行和 NCCL 等通信库实现高效的梯度同步和模型参数更新，优化训练过程。这种方法结合了数据加载、数据传输和数据并行处理的优化，能够显著提升深度学习模型的训练效率和速度。dataset,num_workers=4, # 使用 4 个子进程加载数据pin_memory=True # 将数据转移到固定内存# 模型训练代码# ...
多机多卡分布式训练(Distributed Data DataParallel, DDP)安装踩坑记录
xyl_507的博客
04-28 6734
最近在做目标跟踪的训练时，需要对backbone做一个在imagenet上的预训练模型。众所周知，140GB+的imagenet数据集上训练网络很是考验算力。刚开始在单机双卡(2080Ti)上试了一下，1个epoch需要6个小时，跑完100 epoch大约100*6/24=25天。瞬间放弃单机多卡，将目光放在了多机多卡训练，特撰文记录这段时间的工作，方便以后查询。 一、准备工作 因为之前配置单机的深度学习环境时，备份了许多安装包，所以后续大多数都是离线安装 安装包目录： cuda_10.2.89
多机多卡分布式训练
china_xin1的博客
11-01 4280
注意：所有机器均需要安装一模一样的环境：版本需要一致；conda安装路径一致；同时cuda和pytorch版本相对应，如下图所示。如下所示，启动2台服务器，服务器每台一张显卡。方式一：使用pdsh，仅需要在主节点启动。
大模型基础理论学习笔记——分布式训练
maximejia的博客
01-27 7694
本文主要介绍了深度学习分布式训练，从大模型训练的角度出发，讨论了深度神经网络分布式训练的缘起，常见的分布式训练策略，具体包括数据分布式、模型分布式和混合分布式，以及各种分布式策略的适用范围和使用方式。同时，我们还对基于Pytorch的数据分布式训练模式进行了探索，一方面，介绍了其具体原理，另一方面，也通过对代码的研读展现了具体实现过程，为后续实际开展分布式训练奠定基础。
分布式训练 — 理论基础
love1005lin的博客
05-01 2562
起初为调用大规模的模型训练，单卡GPU是不够使用的，需要借用服务器的多GPU使用。就会涉及到单机多卡，多机多卡的使用。在这里记录一下使用的方式和踩过的一些坑。文中若有不足，请多多指正。 由于分布式的内容较多，笔者准备分几篇来讲一次下深度学习的分布式训练，深度学习的框架使用的是Pytorch框架。 ----1.分布式训练的理论基础 ----2.单机多卡的使用 ----3.多机多卡的使用 分布式训练的需求和重要性不需要多说，最近新提出的预训练模型，普通的16G的显存已经不足以支撑深度学习模型训练的要求了，这时候
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值