【ローカルAI最前線】ローカルLLMは「モデル選び」だけでは足りない。個人AI基盤を作るためのOSSまとめ

ローカルLLMの話になると、どうしても最初は「どのモデルが強いか」に注目しがちです。

Llama系、Qwen系、Gemma系、DeepSeek系、Mistral系、Phi系。さらに、GGUF、AWQ、GPTQ、EXL2、量子化、VRAM、トークン速度、コンテキスト長。話題は尽きません。

ただ、実際に毎日使おうとすると、すぐに分かります。

ローカルLLMは、モデルだけでは実用になりません。

モデルはもちろん大事です。けれど、本当に大事なのは、その周辺にある道具です。

構造化出力、評価、RAG、長期記憶、文書変換、コーディングエージェント、UI、プライバシー管理、ローカル推論基盤。これらを組み合わせて初めて、ローカルLLMは「ただのチャット」から「個人用AI基盤」になります。

この記事では、ローカルLLMを本格的に使うために知っておきたいOSSを、用途別にまとめます。