ローカルLLMの比較（VRAM：6GB）

VRAM容量が6GBのパソコンにLM Studioを入れ、各種LLMに桃太郎のお話の解説をさせたり、それを中国語に翻訳させたりしてみました。今回の目的はVRAM容量6GBでストレスなく動くLLMを見つけることです。ついでに、言葉の自然さをチェックしました。私の設定や使い方に問題がある可能性もあるので、あまり参考にはならないかもしれません。

cyberagent-deepseek-r1-distill-qwen-14b-japanese

感想：とにかく時間がかかって、私の貧弱な環境では実用的ではなかった。（☆）

elyza-japanese-llama-2-7b-fast-instruct

感想：時間がかかって実用的ではなかった。（☆）

gemma-3n-e4b

感想：VRAMが6GBという貧弱な環境でもさくさく動いて気持ちいい。（★★★★★）

llama-3-elyza-jp-8b

感想：私の環境では実用に耐えられず…。（☆）

gpt-oss-20b

感想：高品質だが、私の貧弱な環境では時間がかかりすぎて、実用的ではなかった。（★★）

qwen3-4b-2507

感想：とにかく速い。なのに品質も高い。（★★★★★）

qwen3-8b

感想：qwen3-4b-2507より若干時間がかかるが、品質はそれほど大きく変わらない（★★★★★）

taide-lx-7b-chat

感想：とにかく遅くて実用的ではなかった。品質も残念。（⭐︎）

breeze-7b-instruct-v1_0

感想：台湾系ではこれ一択。処理速度も速い。（★★★）