見出し画像

【ローカルLLM】Qwen3.6-27B-MTP-pi-tuneを使って驚愕した話【コーディング専用】

はじめに

TONGYI(中国アリババ社・Qwen公式)がXでおすすめしているコミュニティーモデルを試してみました。

Qwen3.6-27B-MTP-pi-tuneは、リーズニングなしのチューニングが施された、待ち時間なしの運用に特化したモデルです(リーズニングありのQwen3.6-27B-MTP-pi-reasoningも用意されています)。

AIチャットなどのインタラクティブな利用、あるいは一般的なゲーミングPC環境での運用であれば、即答してくれるパフォーマンス重視のモデルの方が何かと使いやすいと思います。

そこで、どの程度の性能なのか試してみました。

導入と設定

※ ollama + Open WebUIを利用します

Linux + RTX3060×2(24GB VRAM)環境で試します。上記huggingfaceページにggufモデルが公開されているので、そのまま利用します。(ただし、0.30.9等の新しいollamaバージョンが必要です)

※ 16GBのVRAMであれば、Q2〜Q3モデルの方が良いと思います

# ダウンロード
ollama pull huggingface.co/bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF:Q4_K_M

(投機的な手法で精度を落とさず高速化する)MTPを有効にするため、ollamaモデルファイルを新たに作ります。

llama show --modelfile huggingface.co/bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF:Q4_K_M > qwen3.6-27b-mtp-pi.modelfile

ファイルを書き換えます。

qwen3.6-27b-mtp-pi.modelfile
draft_num_predictを指定するとMTPが有効になります
コンテキストサイズは64k、temperatureは調整する余地あり

ollamaモデルを作ります。(※ 55-qwen3.6-27b-mtp-piは任意の名前です)

ollama create 55-qwen3.6-27b-mtp-pi -f qwen3.6-27b-mtp-pi.modelfile
64KならGPU運用が可能です
リーズニングはモデルファイルで制御できないので、Open WebUI側でoffにします

動作確認

数学(東大文系入試問題)で確認します。

正解してました。30.34 token/s
LM Studioやllama.cppを直接利用すると、Tensor parallelismを有効化できるので、マルチGPU環境であれば、さらにパフォーマンスが向上します。41.73 token/s

ミニゲーム生成

※ 下記事の付録欄のプロンプトを利用しています

土管ゲーム

一発生成です。

可能な限りグラフィックを向上させ、過剰に派手な演出にして。

一発生成です。

3Dレーシングゲーム

一発生成です。

可能な限りグラフィックを向上させ、過剰に派手な演出にして。

一発生成です。

まとめ

Vision機能はありませんが、コーディング性能は、一昔前の80Bクラスを大きく凌駕する性能と安定性だと思います。(一般的なミドルクラスの)ゲーミングPCで実用的に動作するコーディング系モデルでは間違いなく現状で最強です。Gemma4系は日本語が強いのですが、若干コーディングが弱いとおもいます

※ もちろんコーディング以外の用途でもかなり高性能です。

以下、関連する記事の【PR】です


いいなと思ったら応援しよう!