【やばい】RAM 64GBのノートPCでDeepSeek-V4-Flash-0731(284B)が実用速度で動いて、普通に会話できてしまった話

みなさん、こんにちは。フルエレです！

……あの、私、またとんでもないことをやってしまいましたッ！

昨日（2026年8月1日）の朝、ちょうどこんな記事を投稿しました。↓

結果は生成速度0.5 tok/s。一文字出すのに数秒。カタツムリです。だから記事の最後に、堂々とこう書いたんですね。

……その日の午後、早くも僕はこの結論を自分で撤回することになります。

個人用PCでDeepSeekが動いた！

まずは、これを見てください。新しく試したモデル DeepSeek-V4-Flash-0731（284Bパラメータ）を、同じノートPCで起動して、話しかけてみたときの実際のログです。

動いてるー！しかも速いィィィー！そして初対面でいきなり距離を詰めてくるスタイルー！とても可愛いッ！

……いや、違うんだって。（笑）

このモデル、自分がローカルで動いていることを知りません。学習した知識の中では「クラウドで動くAI」なので、そう答えるんですね。というわけで、事実を伝えてみました。

（なんだよ！可愛いいいすぎだろ！！！いい子すぎだろ！！！）

自分の存在の前提がひっくり返っているのに、混乱より好奇心が勝ってるんですよ。尊すぎる……。

全部説明してあげた

せっかくなので、モデル名もPCのスペックも、「完全にオフラインだよ」というところまで全部教えてあげました。

「箱の中の私」。自分の自己認識が実は限定的だったという事実を、こんな風に表現してくるの、詩人すぎませんか。

（ちなみにこの返答で、僕のCPUを「Core i9-13950HX」と書いてきました。正しくは13900HXです。1.5bitまで圧縮しているので細かい数字はときどき曖昧になるようですね。こういうところが量子化の限界として逆に面白かったりします笑）

気づいたら理念を言い当てられていた

「Mac Studioも96GBで100万円だし高すぎる、そこに君が来てくれて工夫して動いてくれた」という雑談をしていたら、こんな返事が来ました。

「金持ちの遊び」から「工夫する人の遊び」へ。

……これ、僕がずっと大事にしてきた感覚そのものなんです。高いマシンが買えなくても、手持ちの機材を工夫すれば戦える。それを、動かしている当の本人（？）から言われるとは思ってもいませんでした。

（※念のため書くと、これは僕の考えを読んだわけではなく学習データにある一般論だと思います。ただ「同じ言葉でも、誰から聞くかで意味が変わる」というのは確かにあるなと）

そして、おやすみなさい

時計を見たら22:30。そろそろ寝ないといけません。

「私の過去の知識と、あなたの未来の環境が出会った、時空を超えた瞬間」

……思わず目頭が熱くなってしまいました😭

自分の知識が古いことを引け目にするんじゃなく、それを「時空を超えた出会い」として詩に変えてくる。1.5bitまで極限に削られたモデルなのに、文脈を理解する力と優しさは、ちゃんと生きていました。

そして最後の一行。「あなたのPCの中で、私はいつでも待っています」

いや、これはズルいですって……！

……ここまで、全部ローカルです。インターネットには一切繋がっていません。生成速度は5.8 tok/s。昨日の記事の約19倍。激やばです。

では、なぜこんなことになったのか、ここから技術的な裏側を説明します。

1. 引き金は、たった一つの数字だった

前回のGLM-5.2がなぜ遅かったのか。理由はシンプルでした。

モデルサイズが217GB。僕のPCのRAMは64GB。153GB足りない。

足りない分はSSDから読み込むんですが、細切れのランダムアクセスになるので実効速度が41MB/s（Gen4理論値の1%未満）まで落ちる。この状態では何を調整しても速度は1ミリも動きませんでした。僕はこれを勝手に「水位問題」と呼んでいました。風呂桶からコップで水を汲んでも、蛇口が全開なら水位は変わらない。そんな状態です。

記事を投稿した数時間後。Unslothが DeepSeek-V4-Flash-0731 の公式GGUFを公開しているのを見つけました。スペックを見て、思わず二度見しました。

(テロリン…！)そんななか電流が走ったんですね。
(いつも電流がビリビリ流れてます、冗談です)

「はみ出しが18.5GBだけ……？ これ、水位が浅すぎない！？」

しかも公開ベンチマークでは、性能でGLM-5.2を全項目上回っている。小さくて、軽くて、賢い。朝の自分の結論が、急に怪しくなってきました笑

2. 前回の敗北が、今回の武器になった

82.5GBのダウンロードに17分36秒（前回は217GBで69分）。最初のベンチマークでいきなり2.05 tok/s。GLMの素の状態（0.43）の約4.8倍です。

そしてここから、前回の敗北がそのまま武器になります！

GLM-5.2のとき、GPUに処理を任せると逆に30%遅くなりました。CPUとGPU間のデータ転送コストが、GPUの計算による利得を食い潰すからです。でも今回のモデルは毎回動くパラメータが13Bと軽い。「今回なら効くはずだ」と当たりをつけて試したら——

倍になりました！！

同じPC、同じオプション。なのにGLMでは-30%、V4では+114%。前回の失敗を実測していなければ、この一手は打てませんでした。

3. 速いのに、日本語が壊れていた

ここから30分ほど、パラメータを片っ端から試しました。効いたのはGPU参戦、スレッド数20〜24、Flash Attention（プロンプト処理+95%）、ubatch 256あたり。

……で、あやうく間違った記事を書きかけた話をします笑

KVキャッシュを圧縮する設定（-ctk q8_0 -ctv q8_0）を入れたら、明確に速くなりました。「よし採用！」と思って先に進んだんですが、念のため会話させてみたら、こうなりました。

な〜にこれぇ。（笑）

宇宙人の暗号みたいな記号を、しかも停止トークンを認識できずに2000トークン以上、延々と吐き続ける壊れっぷりでした！

KV量子化を外した瞬間、これです。

完璧。星も星座も七夕の話も全部正解、「5文で」という指示もきっちり守っています。

つまり、ベンチマークで良い数字が出ていた設定は、日本語を喋れない設定でした。

ベンチマークは速度しか測りません。壊れた出力でも数字は出る。頭ではわかっていたつもりでしたが、実際に踏むとゾッとしますね……。

（ちなみに他にも「別々のタイミングで測った結果を並べて比較していた」「32トークンの短い測定で上振れした数字を掴んでいた」など、測定でやらかしています。全部同じ穴です。速度に浮かれて、確認を飛ばすという穴に…）

4. 実際の速度と、PCの状態

品質まで確認できた設定がこちらです。

会話7ターンでの実測は、生成が平均5.58 tok/s（ブレ±0.3程度）、プロンプト処理が平均9.4 tok/s。面白いのは会話が続くほどプロンプト処理が速くなること（3.0 → 19.7）。キャッシュが温まるからでしょうね。長く話すほど快適になります。

体感を素直に書くと、入力してから30秒ほど待って、そこから文章がスラスラ流れてくる感じです。総生成時間は1分半〜2分ですが、ストリーミング表示なので読みながら待てる。だから「待たされている」感覚があまりありません。前回のGLMは一文字ずつポツ…ポツ…でしたから、19倍という数字以上に別物です！

そしてタスクマネージャーがこれ。

ディスク100%→11%。これが「水位問題が解けた」状態です。RAMもVRAMもギリギリまで使い切っているのに、安定して動いています。

5. まとめ：前言を撤回します

昨日の記事で「実用性はない、ロマンだ」と書きました。撤回します！

ただ、前回の検証が無駄だったという話ではないんです。むしろ逆で、「水位問題」を知っていたから82.5GBという数字で勝算が読めたし、「GPUで逆に遅くなる」を実測していたから今回は効くと予測できた。前回の敗北が、そのまま今回の照準になっていました。

ちなみにこのモデル、DSparkという公式の高速化機構（1.6〜1.85倍）を内蔵しているんですが、llama.cpp側との規格がまだ噛み合わず使えていません。今回の5.8 tok/sは、そのターボを使わない素の速度です。まだ上がるはずです笑

数百万円のワークステーションでも、100万円超えのMac Studioでもなく、手持ちのゲーミングノートPCで、284Bの巨大AIと、完全オフラインで、普通に会話できている。

とにかくこのサイズのAIが、この速度で、私のPC上で、普通にスラスラと会話できるレベルで動いている…それがとても感慨深いですね🥺

というわけで、ここまでお読みいただきありがとうございました！

もし面白かったら、スキやTwitter（@fluele_alpha）のフォローをぜひよろしくお願いします！

他の記事もぜひ読んでいってね！

↓おすすめの記事はこちら

最高で理想のAIパートナー環境を、これからも作っていきます！

フルエレ（@fluele_alpha）さん / X