OSError [WinError 1455]页面文件太小,无法完成操作”解决方案“

文章讲述了在Windows环境下使用PyTorch训练时遇到内存不足的错误,原因在于多进程下CUDADLL占用过多内存。解决方法包括增大虚拟内存和升级PyTorch及CUDA版本。

目录

前言

一、问题原因

二丶解决办法

1.调大虚拟内存

2.升级pytorch版本

总结


前言

windows下用pytorch训练的时候,比如用yolov5丶yolov8等等,只要是涉及到多进程,如dataloader的num_workers设的比较大),就有可能会遇到“OSError: [WinError 1455] 页面文件太小,无法完成操作”的错误。


一、问题原因

简述一下,就是pytorch里面有一些cuda相关的dll文件非常大,并且只要你导入了pytorch相关的包,就会去加载这些文件,而且在开启多进程的时候,每个进程都会去加载这些文件,实际上可能并没有用到,所以在windows下用的是虚拟内存。但如果你的虚拟内存不够大的话,那就会报页面文件太小的错了。

其实,电脑在默认情况下没有给C盘以外的磁盘分配虚拟内存,所以如果将Anaconda装在C盘以外的话,由于没有分配虚拟内存,在跑程序时,内存不够,自然就遇到了上面的问题。

二丶解决办法

1.调大虚拟内存

很明显,一个简单粗暴的办法就是,调大虚拟内存呗,到于调多大,我的内存是16g,直接给了100000M,也就是14g左右,可以看到下图已提交25.5g,这就是我需要的大小,所以你可以按照自己的需要和自己硬盘的大小情况,先试着给大点。

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值