通过镜像部署LLaMA Factory

最新推荐文章于 2026-03-25 00:50:44 发布

原创

最新推荐文章于 2026-03-25 00:50:44 发布 · 705 阅读

标签

#llama

收录于

通过镜像部署LLaMA Factory

可参考官方文档了解更多LLaMA Factory相关知识。
官方开源项目地址。

从官方项目看LLaMA Factory镜像制作

在这里插入图片描述
目前支持NVIDIA GPU、NPU、ROCM。如果使用官方dockerfile自己打镜像非常耗时，我们可以直接使用官方镜像，官方仓库地址https://hub.docker.com/r/hiyouga/llamafactory/tags。目前官方支持最新镜像版本为0.9.4（支持GPU）、0.9.4-npu-a2

使用镜像部署LLaMA Factory

对于GPU需要先安装NVIDIA Container Toolkit

否则无法使用镜像启动，因为无法获取到宿主机中的GPU信息

# Add the NVIDIA GPG key and repository
distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo