Ubuntu安装配置Ollama并运行大模型

1、下载安装

Ollama 是一个开源项目，可以使用官网Download Ollama on Linux推荐的脚本方式安装：

不过试过多次下载失败。

于是直接访问github地址https://github.com/ollama/ollama/releases下载对应芯片架构的 release 包后进行手动安装，最新版本为0.9.0：

可以使用以下命令进行解压缩并拷贝到系统目录中：

sudo tar -C /usr -zxvf ollama-linux-amd64.tgz

这样就直接部署完成了，可以使用ollama -v命令查看安装版本进行验证。

2、创建 Ollama 用户及系统服务

出于安全性、隔离性和系统管理的考虑，需要创建 ollama 用户，执行以下命令：

# 新增用户
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
# 修改用户信息
sudo usermod -a -G ollama $(whoami)

创建系统服务 service 文件：

# 编辑文件
sudo gedit /etc/systemd/system/ollama.service

文件内容如下：

# 文件内容
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_PORT=11434"
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target

使用下列命令启动或配置Ollama：

# 重载配置
sudo systemctl daemon-reload
# 启动服务
sudo systemctl start ollama.service
# 查看服务状态
sudo systemctl status ollama.service
# 设置服务开机自启动
sudo systemctl enable ollama.service

3、下载运行LLM大模型

在Ollama官网搜索大模型，复制运行命令，如：

下载运行qwen2.5-0.5b大模型命令为：

ollama run qwen2.5:0.5b

下载完成后就可以输入对话了。