目录
前言
windows下用pytorch训练的时候,比如用yolov5丶yolov8等等,只要是涉及到多进程,如dataloader的num_workers设的比较大),就有可能会遇到“OSError: [WinError 1455] 页面文件太小,无法完成操作”的错误。
一、问题原因
简述一下,就是pytorch里面有一些cuda相关的dll文件非常大,并且只要你导入了pytorch相关的包,就会去加载这些文件,而且在开启多进程的时候,每个进程都会去加载这些文件,实际上可能并没有用到,所以在windows下用的是虚拟内存。但如果你的虚拟内存不够大的话,那就会报页面文件太小的错了。
其实,电脑在默认情况下没有给C盘以外的磁盘分配虚拟内存,所以如果将Anaconda装在C盘以外的话,由于没有分配虚拟内存,在跑程序时,内存不够,自然就遇到了上面的问题。
二丶解决办法
1.调大虚拟内存
很明显,一个简单粗暴的办法就是,调大虚拟内存呗,到于调多大,我的内存是16g,直接给了100000M,也就是14g左右,可以看到下图已提交25.5g,这就是我需要的大小,所以你可以按照自己的需要和自己硬盘的大小情况,先试着给大点。

文章讲述了在Windows环境下使用PyTorch训练时遇到内存不足的错误,原因在于多进程下CUDADLL占用过多内存。解决方法包括增大虚拟内存和升级PyTorch及CUDA版本。

8874

被折叠的 条评论
为什么被折叠?



