見出し画像

【今度はちゃんと動いた】Gemma4 12Bを使ってみた話②【RTX5060ti】

Catapp-Art3D

はじめに

前回のつづきです。

LM Studioランタイムアップデートがあり、Gemma4 12BのLM Studio公式モデル（Staffピックモデル）が動作するようになりました。

Q4_K_M

環境と設定

LM Studio環境で確認します。

  • Windows 11 Pro

  • Ryzen5 3600 64GB（DDR4-3200）

  • NVIDIA RTX5060ti 16GB

コンテキストサイズを最大の128kにして
KVキャッシュ量子化をQ8_0にします

動作確認

パフォーマンス

簡単な文章を生成します。

40.09 token/s

コンテキストをMAXまで填めます。（小説・銀河鉄道の夜を何度も要約＆コピペ）

25.65 token/s

性能

論理問題

９分と考え過ぎ病にかかっていましたが、
終わりよければ全てよしです。
正解です。36.58 token/s

東大入試（文系）数学問題

同様に考え過ぎ病です。５分考え、
正解にたどり着きました
37.3 token/s

ミニゲーム生成

常識的なリーズニング時間でした
37.4 token/s
一発で動作するものになりました

※ ゲーム等のテストプロンプトは下記事に記載しています。

Vision機能の動作確認

悪くはありませんが、「白鳥の首」に関する（不自然さの）言及がないのはマイナスです。

まとめ

性能は、公式解説によるとE4B以上、26B以下という事ですが、26Bでも上手くCPUオフロード調整すれば、MoEアーキテクチャなので、128kコンテキストサイズで20〜40 token/s程度は出ます。

単純なテキスト生成用途であれば、12Bの利点は少ないかもしれません。

以下、関連する記事の【PR】です。


いいなと思ったら応援しよう！