手把手教你用Docker在CentOS 7上跑通Ollama GPU版+Open WebUI界面

在CentOS 7上构建本地AI工作站：Docker化Ollama GPU部署与Open WebUI深度集成实战

最近和几位做AI应用开发的朋友聊天，大家普遍有个痛点：想快速在本地测试、微调一些开源大语言模型，但环境配置总是磕磕绊绊。服务器资源紧张，云服务按量计费成本又高，如果能在一台有GPU的CentOS机器上快速搭建一套完整的、带可视化界面的本地模型运行环境，那效率提升可不是一点半点。这不仅仅是部署一个服务，更是构建一个随时可用的、私密的AI研究和原型开发工作站。

我花了不少时间折腾，把Docker、Ollama（支持GPU的版本）和Open WebUI这套组合拳摸透了。整个过程从系统准备、驱动适配、容器编排到界面调优，每一步都有不少细节需要注意，尤其是如何在CentOS 7这个相对“经典”的系统上让GPU资源被Docker容器顺利调用。本文将抛开那些泛泛而谈的教程，以一个实际可用的、面向生产级稳定性的视角，带你走通全流程。无论你是想快速验证模型效果的前端开发者，还是需要频繁进行AI模型交互测试的研究者，这套方案都能让你在半小时内，拥有一个功能完备的本地AI对话与测试平台。

1. 环境准备与基石搭建：CentOS 7下的Docker与NVIDIA容器工具链

在开始部署Ollama之前，我们必须确保基础环境坚实可靠。CentOS 7虽然稳定，但其内核版本和软件库相对较老，需要一些针对性的配置才能完美支持现代GPU在容器内的计算。这一步的目标不仅仅是“装上”，更是“装对”和“配优”。

1.1 系统更新与依赖检查

首先，确保你的系统是最新的。使用一个有sudo权限的账户登录，执行全面的系统更新。这能避免很多因软件包版本冲突导致的问题。

sudo yum update -y
sudo yum install -y yum-utils device-mapper-persistent-data lvm2

接下来，检查内核版本和头文件。NVIDIA驱动对内核版本有要求，而后续安装NVIDIA容器工具包需要内核头文件来编译模块。

uname -r
sudo yum install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)

如果提示找不到对应版本的头文件，可能需要启用elrepo仓库来获取。这是CentOS 7环境下一个常见的坑。

1.2 安装与配置Docker Engine

我们将安装指定版本的Docker CE（社区版）。使用特定版本而非最新版，是为了保证与NVIDIA容器工具链的兼容性，避免因版本迭代引入未知问题。这里我们选择经过广泛验证的23.0.6版本。

首先，设置Docker的官方YUM仓库。为了提高国内下载速度，我们使用阿里云的镜像源。

sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

然后，安装指定版本的Docker引擎和命令行工具。

sudo yum install -y docker-ce-23.0.6 docker-ce-cli-23.0.6 containerd.io docker-buildx-plugin docker-compose-plugin

安装完成后，启动Docker服务并设置开机自启。随后，验证安装是否成功，并查看版本信息。

sudo systemctl start docker
sudo systemctl enable docker
sudo docker --version

注意：如果服务器之前安装过旧版本Docker，请务必先彻底卸载（sudo yum remove docker*）并清理相关目录（/var/lib/docker），再执行上述安装步骤，以避免冲突。

为了让后续的镜像拉取和容器运行更高效，强烈建议配置Docker的镜像加速器。创建或修改/etc/docker/daemon.json文件。

{
  "registry-mirrors": [
    "https://registry.docker-cn.com",
    "https://hub-mirror.c.163.com"
  ],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2"
}

配置完成后，重新加载守护进程并重启Docker服务。

sudo systemctl daemon-reload
sudo systemctl restart docker

运行一个简单的hello-world镜像，测试Docker是否正常工作。

sudo docker run hello-world

如果能看到欢迎信息，说明Docker引擎已就绪。

1.3 安装NVIDIA驱动与容器工具包

这是让GPU在Docker容器中发挥作用的核心步骤。请确保你的CentOS 7服务器已经安装了物理GPU（如NVIDIA Tesla T4, V100等或消费级显卡），并且已经成功安装了对应版本的NVIDIA官方显卡