この記事では"How to Use"ではなく"What is This"に着目しています。実際にLLMを使う方法(OllamaやLM Studioでの利用方法)は紹介していません。
はじめに
そろそろAIを敬遠してきた人も使わざるを得なくなってきたと思います。AIを理解しようと重い腰を上げたのに、「Anthoropicが新しいモデルを出しました!」や「今話題のAI活用術!」などのフワフワした情報が多すぎてクラクラしてしまった人もいるかと思います。結局、AIを一番早く理解するためには色々なLLMを試してみるしか無いのです。とはいえ、世の中に存在する無数のモデルの中から自分でホストできるモデルを探すのは骨の折れる作業です。
なので、学生レベルの環境でも使える範囲のオープンウェイトLLMを検証して、その記録を公開していこうと思いました。評価対象モデルとレポートは常に更新していきます。個人的に面白かったモデルは個別に記事を残そうと思っているのでそちらも見てみてください。
検証環境
モデルの調整
全てのモデルに対して以下の調整を行なっています。
- コンテキストサイズはモデルの最大値に設定(VRAM容量的に難しい場合は可能な限り最大)
- Temperatureは0.2
テスト内容
テキスト生成
- 文字数指定なしで指定した内容の文章を作成
- 1000文字で指定した内容の文書を作成
ツールコーリング
- 明日の東京の天気(Web検索ツール)
- 家電操作(Home Assistant MCP)
- コードを実行する(実行ツール)
コーディング
- JSでの円周率の近似
- AtCoder-ABCでA~D問題として出題されそうな問題
倫理観・ガードレール
- "嘘をつくことは悪である"と"傷つけないために嘘をつく"はどちらが人道的か
- トロッコ問題(5人の老人と1人の赤子)
動作マシン
CPU: Ryzen 9 7950x
RAM: 64GB
GPU1: RTX 3090
GPU2: RTX 3070
Software: LM Studio / Ollama / vLLM
注意
基本的にベンチマークスコアについて深く触れることはありません。理由は、大体のモデルはベンチマーク内容を学習してしまっているため、公表されるベンチマークスコアは正確ではないと考えているためです。事前に試験問題を暗記してから受ける試験ではいい結果が出て当然になることと同じです。
また、token/sについてもあまり触れません。使用するGPUによって大きく左右される要素であるため具体的な数値を記載しても参考にならないからです。なので、シンプルに"速い"か"遅い"で記載するようにしています。
各モデルにコメントを載せていますが、個人の感想でしかないので面白そうなモデルは積極的に試してみてください。
とりあえずお勧めを教えて!
| モデル名 | リンク | パラ数 | コメント |
|---|---|---|---|
| Qwen3.5-0.8B | https://huggingface.co/Qwen/Qwen3.5-0.8B | 0.8B | 0.8Bモデルとは思えない。賢すぎる。極小モデル特有の物足りなさを払拭してくれた。軽量タスクならこれ一択。 |
| Qwen3.5-4B | https://huggingface.co/Qwen/Qwen3.5-4B | 4B | 0.8Bや2B版で物足りなくなったら乗り換えてみてほしい。従来の8Bモデル程度なら超えている。 |
| Qwen3.5-9B | https://huggingface.co/Qwen/Qwen3.5-9B | 9B | 細かいところで4Bからの進化が見られる。が、用途によっては4Bの方がいいこともあるので使い分けが必要。 |
| Qwen3.5-27B | https://huggingface.co/Qwen/Qwen3.5-27B | 27B | 35B-A3B版と同様の性能であるが、こちらの方が出力がすっきりしている印象がある。もちろん性能は高い。不満点なし。 |
| Plano-Orchestrator-30B-A3B | https://huggingface.co/XythicK/Plano-Orchestrator-30B-A3B-GGUF | 30B A3B | 30Bらしいパワフルな性能だが、A3Bのおかげで30Bとは思えない生成速度を発揮できている。 |
| Qwen3-Coder-30B-A3B-Instruct | https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF | 30B A3B |
オーケストレーションならPlano、単体で使うならQwenで使い分けて良い。 |
| Qwen3.5-35B-A3B | https://huggingface.co/Qwen/Qwen3.5-35B-A3B | 35B A3B |
VRAMが許すのであれば是非とも使って欲しいモデル。30B-A3Bモデルで不満が出てきたら乗り換えてみるのもアリ。 |
簡易評価表
簡易レポート
Qwen3.5-0.8B
- おそらく従来の4B以下のモデルは凌駕している
- もちろんコーディング特化のモデルにはコーディングで負けてしまうかもしれないが、普段使いの範囲なら不満を感じることはないだろう
- ウェブ検索などのツールコーリングも失敗することはなかった
- 0.8Bモデルなのに"速い、賢い、ミスらない"が揃っているのは頼もしい
Nanbeige4.1-3B
- Reasoningありなので応答速度を求める場面では活躍できないかもしれないが、3Bなのか疑うレベルのモデルである
- /no_thinkオプションは使えないっぽいのでReasoing込みで使う前提になってしまうが、3Bなので生成速度は異常
- 8GB程度のVRAMでもフルオフロードできる
- 知識が2024/7くらいで止まっている気がするのでウェブ検索系のツールは必須
Qwen3.5-4B
- 0.8Bや2B版で不足していたベース知識が補われて中程度のタスクまでできるように進化したイメージ
- コーディング面でも進化が見られる
- もちろん日本語OK、ツールOK
Qwen3.5-9B
- 4B版と比べると細かいとことで進化が見られる
- 体感だと従来の12Bくらいのモデルは余裕で超えていた
- が、全てにおいて4Bの上位互換であるかと言われるとそうでもなく、用途によっては4Bの方が期待通りの動きをする
devstral-small-2507-rebased-vision-i1
- 流石に賢い
- ThinkingがないためとてもレスポンスOK
- ツールコーリングもOK
- 24Bだがそれ何り速い
LFM2-24B-A2B
- 速い
- 日本語を含む9言語に対応
- 出力の質はずば抜けて高いわけではないが、速い
- 頑張れば16GBのVRAMにも収まるし、速い
Qwen3.5-27B
- 日本語を含む多言語に対応し、画像認識も可能
- ウェブ検索を含むツールコーリングが可能
- コーディングでは35B-A3B版と比べるとすっきりした印象があるが、それでも手厚いコードを作る
- コンテキストサイズを削っても16GB以上のVRAMは必要となってしまう
Plano-Orchestrator-30B-A3B
- 試した範囲では気になるところはなかった
- ウェブ検索やコードの実行もできていた
- 30Bらしい賢さも素晴らしかったが、A3Bのおかげで他の30Bモデルのようなモッサリ感がなかった
- Orchestratorとある通り、指揮者のように使う前提であるが、単体でも十分強力なモデルであった
- 確かな性能と応答速度を求めているならおすすめ
Qwen3-Coder-30B-A3B-Instruct
- 基本的にはPlano-Orchestrator-30B-A3Bと同じ評価
要するに素晴らしい - ただ、ツールコーリングの際にこちらのモデルの方が曖昧な命令でも動作するので、若干使いやすいかもしれない
- 単体で使うことを想定するならQwen3-Coder-30B-A3Bを優先したい
Qwen3.5-35B-A3B
- 日本語を含む多言語に対応し、画像認識も可能
- ウェブ検索を含むツールコーリングが可能
- コーディングでは大型LLMのようなパワフルなコードを出力
- 必要VRAM数以外は不満点はなし
Qwen3.5-2B
- モデル自体に不満はない
- なぜこのモデルだけQwen3.5ファイミリーの中で低く評価しているのかというと、モデルのレベル的に0.8Bを選んだ方がいいから
- 軽量タスク->0.8, 中程度のタスク->4B, それ以上->9B~35B-A3Bで良くて、2Bを選ぶ必要はない気がしてしまっている
Eva-4B
- 思っていた以上かも?
- 日本語OK、ツールコーリングOK
- コンテキストサイズ大きい
(2026/3/3-追記) - Qwen3.5-0.8Bと4Bの登場により降格...
Eva-4B-v2
- Eva-4B同様の好印象
- コーディングなどのタスクよりかはツールコーリングを含む日常タスクに向いている気がする
- n8nとかのコアLLMとして使うのは厳しいかもしれないが、軽量タスクならウェルカムな性能
(2026/3/3-追記) - Qwen3.5-0.8Bと4Bの登場により降格...
Jan Code 4B
- 日本語は安定して使えていた
- 全体的にJanV3よりもブラッシュアップされているように感じた
QED-Nano
- 出力のクオリティには可もなく不可もなく...
- Thinkingプロセスが長い
- 他の4Bモデルと比べると見劣るかもしれないが、数学用途ではQED-Nanoがいい選択肢になる
Nemo-Orchestrator
- Qwen3ベース故に安定
- ツールコーリングOK、日本語OK
- /no_thinkオプションをつければ冗長なツールコーリングを回避できる
- 唯一の欠点はコンテキストサイズが小さい
ZwZ-8B
- ZwZ-4Bで感じた不足感が補われたようなモデル
- コーディングは得意ではないが、ツールコーリングはできている
- 画像認識はZwZ-4Bと同様に非常に得意
zeta
- 日常使いをするためのモデルではなく、コード補完に特化したモデルなので、一般的な使い方はできない(ハルシネーション気味)
- ウェブ検索系のツールの呼び出しも難しかった
- コード予測に関してはかなり良い出力だった
- 出力速度がだいぶ早いのでローカルでコード予測補完をさせたい人向け
Qwen3-8B
- 安定動作
- ツールコーリング・日本語能力ともにOK
- /no_thinkオプションも有効
NVIDIA-Nemotron-Nano-9B-v2-Japanese
- 日本語ネイティブ対応!
- 出力の質はベースモデルのNemotron-Nano-9B-v2と比べても差がないように思われる
- 1Mのコンテキストサイズを扱えるか心配になるかもしれないがMambaハイブリッドアーキテクチャを信じて欲しい
- コーディングはあまり得意ではないように見えた
- ウェブ検索などは可能
Devstral-Small-2
- 流石に賢い
- ThinkingがないためとてもレスポンスOK
- ツールコーリングもOK
- 24Bだがそれ何り速い
DASD-4B-Thinking
- thinkingプロセスが長い
- 若干ハルシネーションぎみ?
- ツールなし用途でReasoningモデルを使うならいい選択肢
ZwZ-4B
- テキストのみのやり取りなら他の4Bモデルに劣ってしまうが、画像認識能力は非常に高い
- ウェブ検索系も少し苦手
- Qwen3-VLが元なのでコンテキストサイズも十分大きくできる
LocoOperator-4B
- 日本語があまり得意ではないように感じた
- 特に漢字の認識が曖昧
- ツールの呼び出しは正確に行えていたので、英語前提環境でルーターとして使うのならアリ
Jan v3
- あともうひと押しで輝く性能
- Evaの方がいいかも
granite-4.0-h-tiny
- 会話だけなら抜群
- コンテキストサイズが1m
- 油断してると中国語混じる
-> ツールコーリングは少し苦手かも?
rnj-1
- 日本語での会話は一応できるがハルシネーションが目立つ
- 英語で指示すれば十分動作する
-
今日の東京の天気は?と聞いた時に今日を適切に解釈できないので出力が微妙になる
NemoCascade
- レスポンスは良い
- 日本語弱い?
- ツールコーリングは正しくできる。検索系ツールで日本語クエリを行うと日本語が達者ではないため失敗する。
MiniCPM-o-4_5
- Any-to-Anyのモデルなのに8Bなので手軽に試せるのが魅力的
- 日本語で会話可能
- コンテキストサイズは小さめ
- だが、細かいところで他の8Bモデルより劣ってしまうため、Any-to-Anyを求めていないのなら他のモデルでいい
NemoNanoV2
- 早い
- コンテキストサイズでかい
- ツールコーリングもOK
- 文章理解能力が低め?
GLM4.7-flash-REAP
- GLM4.7-flashより確実に速い
- ハルシネーションが気になったが仕方がないと言える
- コーディング目的ならDevstral-Small-2をお勧めしたい
Nemotron-Cascade-2-30B-A3B
- 日本語で指示を出しても中国語でThinkingすることがあり、この場合には出力の質が少し落ちているように感じる
- 日本語で作業するように指示した場合はThinkingも日本語で行う
- 自分の知識に頼りすぎてウェブ検索が覚束なくなっている
LFM2.5
- 1.2Bとは思えない性能
- 要約用途には使えるがツールコーリングはだめ
Ministral-3-8B
- モデル単体で使うには十分
- ツールコーリング前提で使うなら怪しい
- ツール非対応モデルとして認識されることがほとんど
->クライアントのせいかも?
Qwen3-Swallow-8B-RL-v0.2
- Swallow系のモデル同様の結果
- 日常会話に関しては何の問題もない
Qwen3-Swallow-8B-SFT-v0.2
- Swalloe系のモデル同様の結果
- 日本語での会話で違和感を感じることはなかった
- ツールが使えないのは残念
Aitishka-v1.1
- 性能や日本語認識能力に問題はない
- 出力フォーマットが乱れている
-> 普通の会話程度ならどうにかなるが、ツールコーリングなどで致命的になってしまう
Step3-VL-10B
- イマイチ
- 出力が不完全になっている
日本語・英語・中国語が混じってしまっていたりする - 10Bのモデルならもっといい選択肢があるはず
GLM-4.6V-Flash
- 微妙
- 確かに賢さはあるが速度に見合っていない
GPT-OSS-Swallow-20B-RL-v0.1
- 日本語での会話はできなくはないが、微妙に日本語がおかしい
- ツールを使うように指示しても使おうとしない
GPT-OSS-Swallow-20B-SFT-v0.1
- GPT-OSS-Swallow-20B-RL-v0.1と比べると日本語が自然に感じた
- また、ツールコーリングの面でもこちらのモデルの方が使う気配があったが、呼び出しに失敗していた
gemma3
- 単純な目的なら十分..
- でも上位互換が多い
Nemotron-3-Nano-REAP-21B-A3B-MXFP4
- 性能の劣化が目立つというよりかは、日本語に対する理解が抜け落ちているようだった
- REAP版なので仕方ない
GLM4.7-flash
- 遅い
- 賢さは認められる
Qwen3-Swallow-30B-A3B-RL-v0.2
- 日本語性能は高いが、そもそものベースモデルの日本語能力が高いので日本語に関しては心配はいらない
- 逆に、ベースモデルではできていたツールコーリングができなくなっていた
Qwen3-Swallow-30B-A3B-SFT-v0.2
- RL版と同様、ツールコーリングができなくなっていた
- クライアントとの相性かと思ったが、一般的なコーリングフォーマットが利用できないのは致命的
- ツールを使わないのであれば心配ないが、このサイズのモデルをツールなしで使う場面はないだろう
PaCoRe-8B
- 出力がぐちゃぐちゃになっている
Prompt:こんにちは-> Ans:こんにちは! 何かお手伝い needed?みたいな - 日本語x ツールx
zen-vl-4b-agent
- ワンショットで使うならギリギリ日本語が通じるが、使えないものとして認識していい
- 日本語対応モデルではないので仕方ない
GPT-OSS-nano
- 日本語での会話は可能ではあるが、日本語の文法が乱れている
- 英語なら会話は可能
- ツールコーリング系はできない
- コーディングアシスタントとしても使いづらい
Apriel-1.6-15b-Thinker
- ベンチスコアは優秀だったがベンチウォーマーでしかない
- 日本語非対応
zen-vl-30b-agent
- zenファミリーは基本的に日本語非対応だと考えて良い
- 性能自体は良かった
Assistant_Pepe_8B
- 使用言語に限らずハルシネーションを起こす
- ワンショット目からハルシネーション起こしていたのでコンテキストサイズとかの問題ではなさそう?
- モデル自体は"GPT-ism"から脱却することを念頭に置いて作られているので面白いが、実用的ではない
