ギリギリローカル! Laguna-S-2.1動かしてみた

こんにちはRcatです。
今回もローカルLLMを動かしていきます!
その名もLaguna-S2.1! 118B-A8BのMoEで、サイズと計算負荷的に、ギリギリ個人のPCでも動く最もフロンティア級に近いモデルなのではないでしょうか!?
とりあえず動くか試してみます!

次回（正常稼働）はこちら

はじめに

利用規約

情報や作品の活用時は事前に利用規約をご確認ください。

コメントについて

利用規約のガイドラインを確認の上コメントしてください。
則っていないコメントは削除します。

概要

LagunaS2.1って?

オープンウェイトのLLMで、118Bサイズですが、8Bのアクティブを持つMoEのLLMです。
これにより100B超えの知識量を8B程度の計算負荷で得ることができます。

公式のスコアを見る限り、500B～1Tパラメータ級モデルに張り合う性能を見せているようです。
パラメータ数が不明ですが、Qwen3.7Max相手に張り合ってるのでかなりすごそうな感じがします。

まぁあくまでもスコアなので実際に使ってみないとわかりませんが。

環境構築

専用llama.cppをビルド

公式の下の方を見ると、どうやら専用のブランチがあるみたいなのでそこをクローンしてビルドします。

※追記:フォークじゃなくても動きます。あとでわかりますが逆に非推奨です

git clone --branch laguna https://github.com/poolsideai/llama.cpp
cd llama.cpp && cmake -B build && cmake --build build -j

ちなみに7/22 22:00時点ではビルドエラーが起きます（CPU/CUDA/ROCm）。
原因はヘッダー不足らしく、下記コマンドをクローン後に挟むとビルドが通ります。

sed -i '1i #include <cmath>' common/speculative.cpp

モデルをダウンロード

さすがに大きすぎるので、好きではないですが3Bit量子化を選びます。100Bもあれば3Bitでもそこそこの知能を発揮してくれるでしょう。

モデルはここからIQ3-XXS

公式の方の量子化からDFlashのドラフトも持ってきます。
さすがに重いだけあってちゃんと最近のトレンドに沿ったドラフトモデルがあるのが好印象。

実行

Ryzen AI MAX+ 395

まずはいつも通りROCm7.2ビルドのRadeon 8060Sで行きます。
定義はいつも通り。KVは8Bit

メモリ使用率はこんな感じ。
45GBで128Kコンテキストがひとまず収まりました。

結果・・・GPUハングで動きませんでした…w
8060Sは最適化されてないかな?

普通のQ3 KMもダメ。
gfx1150ターゲットでビルドでもダメ。
もちろん1151もダメ。

どうもFlash Attention関連で落ちてるっぽいので、無効にします…
これによりKVキャッシュが量子化不可、コンテキスト長が2乗で載ってくるなど多彩な悪影響が出ます…。

無効にした結果がこれ。61GBでギリギリメモリに入りました。

推論中は63G超え…これ溢れてたりするのか?
とりあえず、今までは推論まで進まなかったのでとりあえず良しとする。

結果…おっそ。
DFlashもほぼ効いてないじゃないか。

ちなみにちゃんと文章は生成してるので3Bitでもひとまず会話は通じそう。

ちょっとこれだと使い物にならないので、Flash Attentionがちゃんと乗るまでは待機ですね。
Qwen3.5 122B-A10は10t/sくらいで動いてたので、これは8Bなんだからもう少し早く動くはずです。

RTX5070Ti

こちらは明らかにVRAMには入りきらないので、cpu-moeで全層にがします。

なお、この記事でやったように、WindowsですがDockerのコンテナでやります。

ギリギリ入りました。

Dockerも48GまでOKにしておかないとダメでしたw

うーん。GPU暇してるなぁ。プリフィル中は30%くらい使ってたけど、デコードはオフロードしちゃったから暇なのか。

結果はこんな感じ。惨敗w

にしてもさすがメインメモリ遅いw。
けどここまで遅かったか…?スワップでもしてるのか?
↓してそう

というわけで、メインメモリ64Gではオフロードすら許されないとw

まとめ

本日はぎりぎりローカルレベルのLagunaを動かしてみました。
ハードやらバックエンドやらでいろいろ問題になってしまったので、別の機会にリトライしたいですね。
DFlashが効いて20t/s程度が期待できるのであれば、高難易度なバイブコーディングがローカルで回る可能性もあるため、この程度で諦めるのはもったいないです。

ではまた次の機会にお会いしましょう。

リベンジはこちら

リンク集

感想投稿フォーム

コメントは公開で恥ずかしい!! Rcatだけに送りたい人向け

メンバーシップの説明

Docker-Composeマネージャー

【ローカルLLM】バイブコーディング完全ガイド

ミニPCにLinuxをインストール