safetensors -＞ ollama ，模型转化 + 模型量化详细步骤

这里是视频 模型转化 + 模型量化（从 safetensors 到 ollama）这里有详细的步骤哦 的笔记，记录了如何将 huggingface 上 NousResearch/Hermes-2-Pro-Llama-3-8B 模型转化为 gguf 格式、模型量化并在 ollama 中使用。请结合视频一起食用。

下载和安装 ollama

wget https://github.com/ollama/ollama/releases/download/v0.1.47/ollama-linux-amd64
install ollama-linux-amd64 /usr/local/bin/ollama
ollama -v

启动 ollama

OLLAMA_MODELS=/root/autodl-tmp ollama serve

这里修改了 OLLAMA_MODELS 为 /root/autodl-tmp ，这样 ollama 会从这个目录下加载模型。