量子化フォーマットの選び方2026。GGUF・MLX・EXL・AWQ対応表
同じモデルでもGGUF・MLX・AWQと配布形式が複数あります。どれを落とすかは「何で動かすか」で決まります。対応表1枚で選択を終わらせます。
フォーマットが分かれている理由
量子化フォーマットが複数あるのは、ランタイム(実行ソフト)ごとに最適化の方向が違うからです。
可搬性重視 → GGUF(どこでも動く)
Apple最適 → MLX(Macで最速)
NVIDIA単体GPU最速 → EXL2/EXL3
本番サービング向け → AWQ/GPTQ
つまり「フォーマット選び=ランタイム選び」です。まず「何で動かすか」を決めれば、フォーマットは自動的に決まります。量子化そのものの基礎(Q4_K_M等)は『量子化とは何か』で扱っています。
対応表: フォーマット × ランタイム × ハード
2026年時点の主要フォーマットの対応です(各ランタイムの公式ドキュメントで確認)。
注意点として、vLLMのGGUFサポートは現在も「実験的・最適化不十分」とされ、本番でGGUFを使うのは推奨されません。vLLMで本番配信するならAWQ/GPTQ、個人でGGUFを使うならllama.cpp/Ollama、と住み分けます。
迷わない選択フロー
「何で動かすか」から一直線に決まります。
Ollama/LM Studioで使う → GGUF
Macで速く動かしたい → MLX
NVIDIA単体GPUで速く → EXL3(またはEXL2)
vLLMで本番サービング → AWQ / GPTQ
ファインチューニングする → bitsandbytes(QLoRA)
配布元は、GGUFならbartowski・unsloth・mradermacher、といった信頼できる量子化配布者を選びます(見分け方は『量子化とは何か』参照)。
品質の観点: 同じ4bitでも差がある
同じ「4bit」でも、量子化方式で品質が変わります。
K-quant(Q4_K_M等): 通常はこれで十分。バランスが良い
I-quant(IQ系): サイズあたりの性能が良いが、少し遅い。低ビット帯で有利
Dynamic量子化(Unsloth 2.0等): 層ごとに最適化して低ビットの品質を上げる新方式
ベンチマーク上の細かい差はありますが、実用上は「配布者が推奨するデフォルト(Q4_K_M級)を選び、不満があれば上げる」で足ります。
変換はできるが、基本は「配布済みを使う」
自分でモデルを量子化・フォーマット変換することも可能です(llama.cppのconvertスクリプト等)。ただし、独自ファインチューニングしたモデルを配布する、まだ誰も量子化していない新モデルを使う、といった特殊ケースを除けば、信頼できる配布者の量子化済みファイルをダウンロードするのが基本です。変換の深掘りはZenn/Qiitaの実装記事に譲ります。
まとめ
フォーマット選び=ランタイム選び。「何で動かすか」を先に決める
対応表: GGUF(可搬・個人)/MLX(Mac)/EXL3(NVIDIA単体)/AWQ・GPTQ(vLLM本番)/bitsandbytes(学習)
vLLMのGGUFは実験的。本番配信はAWQ/GPTQ、個人GGUFはllama.cpp/Ollama
同じ4bitでもK-quant/I-quant/Dynamicで差。実用は配布者の推奨デフォルトでよい
主な参考資料: llama.cpp (GitHub)、vLLM 量子化ドキュメント、ExLlamaV3 (GitHub)、MLX (GitHub)
TodoONadaでは、ローカルLLMの本番構成の設計を支援しています。お問い合わせはこちら。
