Ollama+OpenWebUI本地部署大模型

前言

Ollama是一个开源项目，用于在本地计算机上运行大型语言模型（LLMs）的工具，它的底层是使用Docker，所以支持类似Docker的构建方式，大模型就是它的镜像。它支持多种模型格式，包括但不限于GGUF，允许用户在没有高性能GPU或不希望使用云服务的情况下，利用个人计算机的资源来执行复杂的语言任务。

Ollama使用

Ollama安装

根据自己的平台选择下载对应的工具，下载地址

右击使用管理员权限安装，成功后会弹出下面框。
输入ollama list 可以查看本地有哪些模型

ollama list

想要查看支持哪些模型，可以点击官网中央仓库，支持的模型很多。

Ollama支持的参数：

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information