【2026年版】筆者が利用しているおすすめローカルLLMランキング②【用途別なので基本1位】

はじめに

前回のつづきです。

今回は、総合ではなく、特定用途のAIモデルを紹介したいと思います。

翻訳モデル1位：TranslateGemma 12B

翻訳に特化したGoogle translategemmaは、12BモデルでもGemma3 27Bの翻訳性能を超えるというものです。

※ 4B版もありますが、VRAMに余裕があるなら12B版が最もバランスが良いと思います。

# ダウンロード
ollama pull translategemma:12B

モデル仕様の最大コンテキストサイズは128k（約13万日本語文字）です。12GB/16GB VRAMのGPUでも、32〜64k（約3〜６万日本語文字）程度であれば問題なく利用できます。

※ VRAM 16GBでは、少し小さくする必要があると思います

# 最大128kコンテキストの場合
NAME               ID              SIZE      PROCESSOR    CONTEXT    UNTIL
translategemma:12b c2f9a9ca1ec7    16 GB     100% GPU     131072     Stopping...

定型プロンプトが決まっているので、それをシステムプロンプトとして利用します。

上記設定で、

特に翻訳を目的にした用途では、「意訳」ではなく「直訳」してほしい事が多いと思います。

「賢い」モデルでは、ガードレールの独自解釈・注釈を挟んでしまったり、大規模なモデルほどハルシネーションを見て不要な情報を追加する傾向があります。ある程度は指示プロンプトで制御できますが、翻訳専用AIの方がより忠実になります。

軽量モデル

軽量モデル1位：Qwen3.5 2B

# ダウンロード
ollama pull qwen3.5:2b

Open WebUIに限らず最近のAIシステムは、主推論は大きく優秀なAIモデルで、それらをつなぐインターフェース用LLMとして軽量AIモデルが利用されます。

さらに、演算資源がカツカツのゲーミングPC環境では、インターフェース用の軽量AIをあえてCPU動作させる事で、いろいろな利点があります。

※ 同じ規模のライバルとしてLFMもありますが、（筆者テストだと）会話用途では可能でも、論理的な振る舞いはQwen3.5に比べるとかなり弱い印象があります。

OpenWebUI設定で「現在のモデル」を指定していれば、タスク処理に主推論と同じモデルが利用されますが、リーズニングモデルや翻訳モデル、OCR特化モデルだと失敗します。

※ ただし、管理者設定（インターフェース）とユーザー設定両方で指定が必要です

Ollamaのみの利用であれば、リソース管理を適切にしてくれるので問題ありませんが、LM Studio等で、独自にAIモデルを動作させた場合に、ollamaタスクモデルとVRAMの奪い合いが発生して大抵の場合フリーズします。

そこで、超軽量モデルをCPUのみで動作する設定にします。CPUで動作させれば、VRAMを気にする必要が無くなります。ただし、CPU推論は超遅いので、普通のモデルは利用できません。軽量モデルとしての真価が発揮されます。

ちなみに、筆者のインターフェース用モデルのシステムプロンプトは次のようにしています。2Bなので、あまり複雑な事を聞いてくれませんが。

あなたは日本語AIアシスタントです。指示に厳密に従うこと。
出力は必要最小限とし、簡潔かつ要点のみを述べること。
復唱、前置き、但し書き、補足説明など不要な文は出力しないこと。
🤖等の関連する絵文字を積極的に利用すること。

Open WebUIでさらに軽量にする方法

※ もちろん、最速はタイトル生成をOFFにすれば良いのです

筆者環境において100kを超えるトークンをCPUのみで扱うと、2B軽量モデルでもあまり実用的な時間でタイトル生成処理しきれません。なので、タイトル生成等のテンプレートを軽量化します。

タイトル生成時の参照するメッセージ数を減らします。デフォルトは最後から２メッセージ（インプット＋アウトプット）ですが、アウトプットだけの「１」にします。

例えば100kトークン文章の要約を頼んで1kの要約出力した場合、要約の1kのみを軽量LLMが利用する事になります。デフォルトだと、101kトークンを読み込んで（CPUで処理して）タイトルを作ります。

※ せっかくなので、筆者が利用しているものを、コピペできるテキスト形式として付録欄に添付しています。デフォルトだと英語生成してしまう事が多いので、さらに強制日本語対応にしたものです。

軽量モデル2位：Qwen3 4B instruct

# ダウンロード
ollama pull qwen3:4b-instruct

Ollama内で完結しているシンプルな場合や、専用サーバーがあったり、演算資源に余裕があったりと、特にCPUで動作させる必要がない場合は、軽量タスク専用モデルとしてQwen3 4B-instructモデルがバランスが良いと思います。VRAMが許せば、最大256kまでコンテキスト利用できます。

Qwen3はQwen3.5と異なり、非リーズニングモデルが別モデルになっています。

筆者の確認では、非リーズニング利用において、Qwen3 4B instructの方がQwen3.5 4Bよりも優秀だと思います。

また、タイトル生成だけであれば、それほどモデルの優秀さは問題になりませんが、RAGクリエ生成タスクでは、2Bと4Bで結構な差があります。

軽量モデルまとめ

• Qwen3.5 0.8B： タイトル生成のみなら実用的

• Qwen3.5 2B： 100%CPUでも現実的な速度で利用可能。性能もそこそこ。

• Qwen3 4B instruct: GPUで利用する場合は、性能と軽量さのバランスが良い。

OCRモデル１位：glm-ocr

OCRに特化したモデルを利用する事で、（翻訳モデルと同じ意味で）VLMよりも正確になります。

※ ollamaバグによりしばらく利用不可になっていたのですが、やっと修正されて再度利用できるようになりました。

# ダウンロード
ollama pull glm-ocr

※ 似たモデルにdeepseek-ocrがありますが、glm-ocrの方が扱いやすいと思います。

一般的なLLMではありませんが、Open WebUIでも使えます。

システムプロンプトに「Text Recognition:」と記述するとテキスト専用ボットになり、

システムプロンプトに「Table Recognition:」と記述するとテキスト専用ボットになり、

ただし、フォーマット指定できないので、多少手作業が必要になります。（自動化するやり方もありますが、ちょっと複雑なので..）

システムプロンプトに「Figure Recognition:」と記述すると図専用ocrボットになります

まとめ

筆者が利用しているので、どれも基本１位になってしまいました。

次回③へつづく

付録

本記事で紹介した筆者が利用しているOpen WebUIテンプレートを支援者様（メンバーシップ）向けに添付します。参考程度にご利用ください。