Ollama+Open WebUI全栈部署教程:在2核4G的CentOS7机器上跑通Qwen-7B模型
当开发者想要在资源有限的服务器上搭建私有AI对话系统时,Ollama与Open WebUI的组合正成为轻量级部署的首选方案。本文将手把手带你在2核4G的CentOS7环境中,通过Docker Compose实现从模型服务到Web交互界面的完整部署。
1. 环境准备与优化
在2核4G的CentOS7服务器上运行7B量级的大模型,需要先对系统进行针对性优化。执行以下命令检查基础环境:
# 查看系统版本
cat /etc/redhat-release
# 检查硬件资源
lscpu && free -h
针对CentOS7的GLIBC兼容性问题,推荐直接采用Docker方案规避依赖冲突。先配置稳定的阿里云Docker源:
# 安装基础依赖
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加阿里云Docker源
sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 安装Docker
sudo yum install -y docker-ce docker-ce-cli containerd.io
# 启动服务
sudo systemctl start docker && sudo systemctl enable docker
内存优化是关键,建议配置2GB的swap空间:
sudo dd if=/dev/zero of=/swapfile bs=1G count=2
sudo chmod 600 /swapfile
sudo mkswap /swapfi


210

被折叠的 条评论
为什么被折叠?



