MINI-PCにGPU-BOXふたつくっつけてGemma4-31BでFirstAtack10tok/s越え！！

皆さんお久しぶりです。
メルカリ漁りがはかどる清々しいほどの散財の季節ですね。

ということで、新たにRTX3060(12Gb)とThunderbolt接続のGPU-BOXを手に入れました。

これまでも、中途半端なAI対応で、内臓GPUのAMD Redeon(TM)860Mにメモリ32GB割り当てても、Gemmma4-31B(Q4-K-M_LMStudio)で3～4tok/sしかでないMINI-PCに、GTX1080ti(11GbGPUメモリ)をThunderbolt接続のGPU-BOX経由で接続し、CUDAの恩恵を受けて、画像生成AIをなんとか楽しんでいました。

そこに、さらにもう1台、今回手に入れたRTX3060(12GbGPUメモリ)をThunderbolt接続のGPU-BOX経由で追加し、LMStudioのマルチGPU対応で、計23GbのNVIDIAGPUメモリが使える環境にアップグレードしました。

各GPU単体では、Gemmma4-31B(Q4-K-M)をそれぞれ32kコンテキスト使用で、内臓AMD Redeon(TM)860Mがvalkanで3～4tok/s、GTX1080ti(11Gb)がcudaで3～4tok/s、RTX3060(12Gb)がcuda12で4～5tok/s程度でした。

今回、RTX3060(12Gb)＋GTX1080ti(11Gb)をcudaで動かし、以下の設定でFirstAtack10tok/s越えに成功しました！！

画面は、デベロッパーモードONです。
ポイントはKVキャッシュの8bit量子化です。これが最後の一押しで10tk/sに到達しました。あと、なぜかGPUオフロードを最大値の60にすると読み込み失敗したので、56に抑えてあります。

まだ、FirstAtackのみで継続利用してはいませんが、これまで他のモデルに比べて速度がどうしようもなく遅かったdenseモデルがギリギリ実用域に到達した感があります。

また、追加情報があればご報告したいと思います。