【ローカルAIの定番】RTX5060ti 16GBのAI力を紹介する話②【LLM力】
はじめに
前回のつづきです。
本記事では、RTX5060ti 16GBで、どの程度ローカルLLMが利用できるか紹介したいと思います。
LM Studio
筆者は主にollama（+ Open WebUI）を利用していますが、LM Studioも利用しています。LM StudioはUIにクセがある反面、通常のWindowsアプリとして導入・利用できるため、はじめてローカルLLMを利用する場合はおすすめです。
Gemma4 12B
gemma4-12b-qatを利用します。QAT版は、Google謹製の高度な量子化モデルで、定番と言えるほど現在ミドルクラスのゲーミングPCで最も良く利用されているモデルです。16GB VRAMであれば、オフロード無しのフルスペック256kのコンテキストサイズで利用可能です。
（Gemma4-12b-qat 256k）
画像を扱うVLM機能もあるため、難しい事は考えずにとりあえずローカルLLMを活用したいという用途であれば、最もおすすめで無難なモデルです。
Gemma4 26B A4B （MoE）
16GB VRAMであれば、より上位の26Bモデルも実用的（快適）に利用できます。実は設定を調整すれば、12Bよりも高速に動作します。
KVキャッシュの量子化（Q8_0）の有効化と
※ KVキャッシュ量子化を利用すると、コンテキストに必要なVRAMが半減しますが、若干の性能低下をひきおこします
MoEアーキテクチャ専用のエキスパートモデルのオフロード設定をします。選択的に利用する層をCPU側へ送る事によってVRAM削減を行います。エキスパートモデルは常に利用するわけではないので、CPU利用がボトルネックになりにくくなります。
Gemma4 12Bよりも高速に生成できます。実際にアクティブになるパラメータが4Bなので、12Bよりも軽いからです。
（Gemma4-26B-A4B-qat 256k）
Ornith-1.0 35B（Qwen3.6 35B A3Bベース）
最近人気のAIエージェント＆コーダー専用のモデルOrnith-1.0の35B版です。
しかし、本家モデルではなく、16GB VRAM用に縮小（Q4_K_M）し、VLM（画像対応）とMTP（高速化）をあらかじめマージしてくれている有志（SC117氏）のコミュニティーモデルを利用します。
MTP効果もあるので、88.00 token/s と非常に高速です
一回目の生成ではバグがあるので、画像をはりつけて修正させます。VLMが利用可能です。
※ RTX5060ti 16GB×２枚にすると大きく化ける
ゲーミングPCではあまり一般的な構成ではありませんが、マルチGPUにするとLLMが一気に快適になります。
※ ハイエンド二枚なら電源的に難しいのですが、ミドルレンジGPU×2は比較的簡単にできます。ATXマザーボードであれば、追加するだけで終了です。昔のNVLinkのようなものは必要ありません。
LM Studio（実際はエンジン側のllama-server）では、並列演算の手法、
①レイヤー分割（均等に分割）
②tensor parallelism
を選べます。デフォルトの①レイヤー分割の場合は、前の層の演算が終わらなければ次の層の演算ができず、構造的に真の並列演算とは言えません。しかし、メモリが二倍になるという恩恵があります。
②テンソル分割並列は、密な粒度の並列化なので、演算速度向上の恩恵を受けられますが、密であるため、オーバーヘッドが大きくなります。
基本は、正味演算の軽いモデル（もしくは高演算性能GPU）は①レイヤー分割が適切で、重いモデルは②tensor parallelism（もしくは低演算性能GPU）が適しています。
※ 業務等でマルチGPUを利用する人々は、高性能な装置を利用している事が多いので、この理屈が逆に見える事がありますが、家庭用の『性能の悪い』デバイスほど、並列効率が良くなる傾向にあります。ボトルネックがどこに存在するのか（演算か？通信か？）が重要になります
たとえば、Gemma4 26B A4Bは4Bという「軽い」モデルなので、①と②の手法であまり差が出ません。
※ 並列して演算していないのにスコアが２倍近くなっています。理由は32GBになり、すべてメモリに乗っているからです。１枚の時の52.22 token/sは、CPUとのハイブリッド演算です。
しかし、Gemma4-31B-qat（Dense）等の正味の演算自体が重いモデルの場合は、ボトルネックが「正味演算」に移動するので並列効率が向上します。
※ LM Studioでは未対応ですが、自ビルドllama-serverで直接「tensor parallelism + MTP」を利用すると、不安定ですが、さらに３倍の100 token/s近い値を得ます
まとめ
以前は、コンシューマー向けGPUでLLMを利用すると、（CPUメモリがAI演算に意味をなさないので）VRAMの少なさが問題になりましたが、MoEの登場によって改善されています。16GBのVRAMでも、26Bや35Bのモデルかつ128k程度のコンテキストでも、50 token/s以上の高速生成が可能になっています。
計算機思想的にも、あまり利用しない層は遅いCPUメモリへ、良く利用する層は高速なGPUメモリというハイブリッド利用は、MoEアーキテクチャと非常に相性が良いと思います。
以下、関連する記事の【PR】です
