本文介绍在Linux环境下，当遇到GPU占用率100%但无明显进程占用时的解决方法。通过使用nvidia-smi命令监测GPU状态，并利用fuser和kill命令组合成功释放被占用的GPU资源。
linux服务器下使用
nvidia-smi
or nvidia-smi -l 1【数字表示输出间隔】
or watch -n 1 nvidia-smi
命令查看GPU使用情况，三种情况
1、没有进程，GPU使用率为空
这种情况表示，没有进程占用GPU资源，属于为空的正常状态
2、有进程，GPU使用率在变化
我们如果想要终止进程
ps -ef|grep python
kill -9 58828 # 58828是该进程id
当然，也可以杀死所有python进程
killall -9 python
以前写的博客有以上教程，戳我进入。
3、看不到进程，但是GPU使用率100%
博主今天就遇到了这种情况，这种情况是不正常的，因此需要将GPU释放掉，不然的话，我无法使用GPU训练模型。
我先用
kill -9 2001
命令后，查看GPU使用情况：
进程是杀死了，但是GPU占用率还是100%
从网上找到了以下方法：
方法1：
使用
nvidia-smi -pm 1
命令，将驱动模式设置为常驻内存。
但是好像不管用，不知道什么原因。。。只能另寻其他方法
方法2：
使用命令：
fuser -v /dev/nvidia*
使用命令杀死进程：
kill -9 65051 65052 65053 65054
GPU占用率都为0%，问题解决。
参考：
https://blog.csdn.net/sinat_28750977/article/details/80117313
扫一扫
737
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
