【服务器使用】Linux系统下使用kill命令杀死进程后仍占用GPU显存

原创已于 2022-10-26 14:46:35 修改 · 3.3k 阅读

本内容遵循CC 4.0 BY-SA版权协议

标签

#linux #服务器

于 2022-10-26 14:45:22 首次发布

在服务器上运行深度学习模型，用kill命令杀进程后，nvidia - smi显示进程消失但显存仍部分被占用。推测可能是子进程内存未释放，还给出了相关参考链接。

在服务器上跑深度学习模型时，使用kill命令杀死进程后，使用nvidia-smi命令发现Processes是消失了，但显存仍有一部分被占用。

本来以为可能是有僵尸进程，后来分析应该是有子进程的内存没有释放掉？具体操作：

# 先使用如下命令查看到top或者ps中看不到的进程
fuser -v /dev/nvidia*
# 再使用kill -9 + 进程的pid 杀掉该进程
kill -9 pid