【ローカルLLM】VRAM 32GBの世界に足を踏み入れる話【RTX5060ti×2】

はじめに

GPUメモリが32GBといっても、なんちゃって32GBです。RTX5060ti（16GB）が二枚使えるようになったので、パフォーマンスを確かめてみました。

現状、AI用途でのGPUで、マルチの恩恵を受けられるのは、基本的にLLMのみです。画像生成の場合は一部で利用できますが、かなり限定的です。

※ もちろん、システムメモリに余裕がある場合は、プロセスを２つ立ち上げれば同時に二つの動画や画像を生成できます。例：ポート番号を分けて立ち上げる、Krita-ai-diffusionとカスタムComfyUIを同時に利用するなど

LM Studio編

LM Studioは実質的な並列演算が可能になるTensor parallelismに対応しています。※ ollamaではまだ利用できません。

東京大学数学入試問題で確認します。メモリに余裕があるので、KVキャッシュの量子化はどれもoffにしています（f16）

gpt-oss-20b（128k）

Gemma4 26B A4B QAT（256k）

Gemma4 31B （64k）

Qwen3.6 27B MTP pi-tune（128k/Q4_K_M）

まとめ

コンシューマー向けの最高峰RTX5090（32GB）には２倍程度及びませんが、価格は５倍（※100ﾏﾝｲｪﾝ）以上、電力は2倍（※RTX5060ti １台換算だと3〜4倍）なので、コスパとしては十分です。

おまけ

支援者様（メンバーシップ）向けに、本記事で利用した筆者のゲーミングPCのパーツ全てを、メーカー名を含めた詳細で記載しています。マルチGPUで相性のような問題に遭った事はありませんが、購入等の参考になれば幸いです。

※ 穴という穴すべてに差し込んでいるゲーミングPCです

※ Linux Mint 22.3で、デスクトップ運用しているパソコンです