【LLM】本地部署Gemma模型（图文）

工具简介

我们需要使用到两个工具，一个是Ollama，另一个是open-webui。

Ollama

Ollama 是一个开源的大语言平台，基于 Transformers 和 PyTorch 架构，基于问答交互方式，提供大语言模型常用的功能，如代码生成、文本生成、数据分析等。

Ollama 的优势:

• 开源: 免费使用，无需付费。
• 易用: 简易的操作，无需复杂的代码或配置。
• 功能强大: 提供广泛的功能，以满足各种需求。
• 性能良好: 使用 PyTorch 和 Transformers 架构，可以实现快速和高效的模型训练。

Ollama 的局限性:

• 模型规模限制: 与其他大语言模型（Chat GPT3.5、Chat GPT4等）相比，模型规模可能相对较小。
• 数据集限制: 不支持所有数据集，特别是在特定领域的数据。

总体来说，Ollama 是一个强大的开源大语言平台，提供广泛的功能和良好的性能，适合各种任务。

open-webui

简单来讲，可以理解为Ollama的web ui。

机器配置

借助于**Ollama，开源大模型也可以通过CPU来运行，GPU会更快，且支持三大主流平台。**使用显卡要求显存6GB以上，对磁盘要求磁盘至少4GB，此外还要预留出模型存放的空间，如这里Gemma 7B模型约5.2GB。

⚠️如果使用显卡运行，安装之前需要检查显卡驱动是否存在。