deepspeed docker集群实现多机多卡训练----问题记录及解决方案资源汇总

原创 已于 2024-07-03 16:15:31 修改 · 1.8k 阅读 · 3
标签
#docker #deepspeed #多机多卡 #分布式训练 #大模型
于 2024-06-27 12:17:23 首次发布

. Docker中实现Deepspeed多机多卡训练

. 问题记录及解决方案资源汇总

最低0.47元/天 解锁文章
DeepSpeed多卡训练问题梳理
u012395477的博客
07-03 1万+
DeepSpeed多级多卡问题处理
使用DeepSpeed进行多机多卡训练模型
weixin_45056021的博客
10-29 4720
中可根据多机多卡环境调整批量大小、梯度累积等超参数，DeepSpeed 会自动管理训练过程。为了使各节点（机器）能够相互通信，你需要设置主节点的地址和端口。DeepSpeed 使用。配置文件中，不需特别调整机器数量相关的配置，主要是根据训练环境进行优化。代码方面的调整较少，DeepSpeed 会自动处理多机分布式训练。在主节点和从节点上分别启动训练进程。完成这些步骤即可启动多机多卡训练。启动脚本，而从节点使用。区分主节点和从节点；多机训练时可以用一个。
docker容器中deepspeed多机多卡集群分布式训练大模型
Li1502927435的博客
08-16 2452
由于docker swarm网络会随机分配ip地址，每次服务器重启后，容器ip都会改变，所以都可需要修改映射，读者可以尝试如何固定容器静态IP。更改后运行这个代码可以一键安装适合版本的，如果那个软件包安装报错可以试试跳过他，在requirement中删除对他相应的版本约束。后面和代码大多借鉴的这位大佬的文章，但大佬跳过了一些基础内容，我进行了一些补充。可以使用vim命令复制，如果安装vim命令失败，可以使用cat命令。，可以看到显卡均有被使用，至此，分布式训练完毕。命令进入容器， ping 一下。
保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B
qq_50097745的博客
10-19 7583
网上的教程，都基本上可能他们自己都能调通，但是，很多细节都没有给出，如何从0到1去搭建多机多卡训练是个很大的难题。本教程是保姆级的教程，搭建数据多机多卡分布式训练，训练的策略是lora
DeepSpeed在docker容器内实现多机多卡
Matrix-yang的博客
03-30 4632
这里需要创建overlay网络是多台宿主机的容器可以通过网络连接选定一台机器为主节点master命令执行完之后，会有其他节点加入该网络的命令提示，在其他节点上输入该命令后就加入了该网络。
大模型推理：vllm多机多卡分布式本地部署
m0_74824755的博客
12-28 8689
我是一台机器启动了一个docker，将docker当作一个节点，在docker里面执行ray start --head --port=6379，将另一台机器的docker作为worker节点，并加入到ray cluster中，如果机器间的通信没有问题，worker节点在几秒内就能加入集群。值得注意的是多机多卡部署的推理框架，也适用于单机多卡，单机单卡，这里不过多赘述。确保head节点的IP与指定的通信网卡的IP一致，同时，检查/etc/hosts里面的IP对应的主机名与docker的主机名是一致的。
大模型推理：vllm多机多卡分布式本地部署1
热门推荐
sunny0121的博客
07-09 3万+
ubuntu中采用docker和vllm进行多机多卡大模型本地部署
「新生手册」：PyTorch分布式训练
zandaoguang的博客
04-05 1073
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨花花@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/3604055...
Deepspeed 结合huggingface Trainer实现多机分布式训练
ningzhao的专栏
05-29 3171
目前工作中只使用了单机多卡做微调训练，为了提升训练效率，特实验多机多卡分布式训练。
DeepSpeed操作
最新发布
m0_53936504的博客
02-17 776
原因：如果使用torch的scheduler，由于需要提供optimizer参数，假如optimizer是用的deepspeed实现的optimizer，会报错（因为不是torch里的optimizer类）。解决：sudo mount -o remount,size=16G /dev/shm。看下自己的deepspeed的json文件中使用的是什么类型。解决方法2：使用deepspeed自带的学习率调度器。按照步骤把自己的模型继承deepspeed。环境配置按照上面视频中博主的过程即可。
18.启动数据库失败：ORA-27125 - Unable to create shared memory segment error
weixin_43346403的博客
02-09 1229
Oracle启动失败无法创建共享内存段
【deepspeed】deepspeed多机多卡训练配置方法参考
测试人的成长日志
08-09 9099
deepspeed多机多卡训练踏过的坑 - 知乎
fused_adam.so: cannot open shared object file: No such file or directory问题排查与解决
qq_35284646的博客
07-14 6118
fused_adam.so: cannot open shared object file: No such file or directory问题排查与解决
fused_adam/fused_adam.so: cannot open shared object file: No such file
qq_44013369的博客
03-12 2294
可能的原因是transformers版本过高。
fused_adam.so: cannot open shared object file: No such file or directory
robator的专栏
03-07 5962
deepspeed fused_adam.so 找不到文件
deepspeed多机多卡并行训练指南
qq_44193969的博客
08-31 4742
7机14卡，每台服务器两张A800服务器只允许内网访问，不能连接外网因此，你需要先搞定如何离线配置训练环境真正跑过多机多卡训练的同学，应该能明白，这篇文章是有多细节了！毫不夸张地说，干货满满！
deepspeed多机多卡训练
weixin_62848630的博客
12-25 1210
注意，多机多卡训练的容器启动命令里必须有--network=host参数，如下。2.1每个机器上环境，代码，需一样，每个机器都得用以下脚本开启训练。2.2只有在主机的服务器终端显示训练进度条，loss，其余不显示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值