【アプデで化けた!】Gemma4 26B A4Bを使ってみた話③【LM Studio】

はじめに

前回のつづきです。

Gemma3やGLM-4.7もそうでしたが、オープンLLMのモデルリリース当日に試しても問題のある結果しか得られない事が多いと思います。

そもそもGoogle公式とリリース前から協力関係にあるとしても、即日にダウンロード可能になるのは凄い事なので、それらはAI効率化の恩恵だと思います。

※ 最近はどこもAI利用で（自動化）リリースしているのでしょうね。一方で、無節操なAI生成によってバグ・カオスの海に沈まない事を願うばかりですが

しかし、今日のLM Studioランタイムのアップデートで、LM Studioのパフォーマンスが劇的に向上しました。

LM Studio設定

Linux環境です。

• RTX 3060 12GB×2=24GB VRAM

• Ryzen7 5700X 64GB DDR-3200

• UD-Q3_XXS量子化（Unslothモデル）

• Gemma4 26B A4B-it

• コンテキスト長＝128k

パフォーマンス

さらに、埋め込み等の前処理は、完全に並列化されています。

品質

lmstudio公式の標準モデルQ4_K_Mよりも少し小さいUD-Q3_XXSですが、筆者が確認する限りでは、目立った劣化はありませんでした。

Windows版のLM Studio設定