見えない私がローカルLLMを掘ったら、正答率が30ポイント動いた
もし、いま使っているAIサービスが明日止まったらどうするのか。
仕組みがよく分からないまま出てきた答えを、仕事や教育の現場でそのまま使い続けていいのか。
自分はそのことが、ずっと気になっていました。
だからこの1週間、自分のパソコンの中で動くAIで、どこまでできるのかを掘っていました。
🎓 受験生にたとえると
たとえるなら、よくできる受験生にテストを解かせてみたら、ある科目はすごく強いのに、別の科目だけ急に点が落ちた。
そこで、その苦手科目に必要な言葉だけを少し渡して、もう一度解かせてみた。
すると点が大きく上がった。
今回、自分がやっていたのは、だいたいそれに近いことです。
そしてもし、その受験生の実力を誰かに伝える立場にいるなら、どこで点が落ちるかを知らないまま「優秀ですよ」とは言えないはずです。
ただ違うのは、その受験生が人ではなく、自分のPCの中で動いているAIだということです。
🔧 やったこと
今回は、OpenAIのOSS 20Bモデルを、自分のWindowsマシン上で動かしました。
音声環境でPCを使い、WSL2上の環境からClaude Codeの接続先をローカルモデルに切り替えて、そこから指示を出しています。
国家試験の問題を解かせてみたところ、西洋医学系はかなり強く、90％近い正答率が出ました。
ところが、東洋医学に入った途端に崩れました。
こちらは50％前後です。
🔍 弱点が見えた瞬間
この差が、自分にはとても面白かったのです。
同じAIなのに、分野が変わるだけでここまで弱点がはっきり出る。
だったら大事なのは、AIが賢いかどうかを一言で語ることではなく、どこで落ちるのかを見つけることではないか。
そう思いました。
💉 弱点に知識を差し込む
そこで次に、東洋医学系の問題に必要そうな情報を外から足してみました。
ここで自分がこだわったのが、なるべく自由に使えるものだけで試すことです。
モデルはOSS。
外から足す情報も、できるだけ扱いやすいものにしたい。
だから今回は、CC0で使えるWikidata系のAPIから関連用語を取り、それを正答率の低かった東洋医学系の問題に注入して、もう一度解かせてみました。
すると、結果が大きく動きました。
自分の実験では、50％前後だった東洋医学系の正答率が、80％近くまで上がりました。
これは正直、かなり驚きました。
💡 なぜローカルにこだわるのか
自分は研究者ではありません。
でも、自由に使えるモデルに、自由に扱いやすい情報を少し足しただけで、ここまで変わるのか、というのはかなり大きな手応えでした。
ローカルでLLMを回すには、GPUへの投資も必要です。
安い話ではありません。
それでも自分がそこを掘りたいのは、外のサービスに全部を預けるのではなく、自分の手元で弱点を見つけて、補って、もう一度試す、その流れ自体がとても面白いからです。
🖥️ 見えない環境からの挑戦
見えない音声環境で、マウスを使わず、Claude Codeを司令塔にして、ローカルのモデルに仕事をさせる。
その上で、弱点を見つけて、情報を足して、もう一回戦わせる。
すると結果が動く。
この流れが本当に面白い。
📈 AIへの自己投資
でも自分にとってこれは、面白いだけではありません。
将来のためのAIへの自己投資でもあると思っています。
いまは便利なAIサービスがたくさんあります。
けれど、使うだけでは見えてこないことがある。
どこで強くて、どこで弱いのか。
何を足すと変わるのか。
何が通用して、何が崩れるのか。
そこを自分の手で確かめていくことが、これから先の自分にとって大きいはずだと感じています。
言い換えれば、自分はAIを使っているだけではなく、AIを知ろうとしているのだと思います。
答えを受け取る側で終わるのではなく、その答えがどう崩れて、どう補えるのかまで触ってみる。
その積み重ねが、あとから効いてくる気がしています。
🏁 今回わかったこと
今回、自分の中ではっきりしたことがあります。
OSSモデルは、そのまま使って終わりではない。
苦手な領域を見つけて、その弱点に何を足せば変わるのかを考え始めると、一気に面白くなる。
しかも、その変化は思っていたよりずっと大きい。
見えない音声環境の中でも、ここまで掘れる。
だったら、まだ先はある。
🔭 次にやりたいこと
次は、東洋医学系で間違えた問題について、なぜ答えられなかったのかをClaude Code側に推論させてみたいと思っています。
単なる知識不足なのか。
用語の取り違えなのか。
概念同士のつながりが弱いのか。
そこまで見えてくれば、次に足すべきものも、もっとはっきりしてくるはずです。
🔑 いちばん面白かったこと
この1週間でいちばん面白かったのは、AIがすごかったことではありません。
弱点が見えたあとに、その弱点へどう知識を差し込むかで、挙動が大きく変わったことです。
だから今、自分はAIを使うことより、AIを掘ることに夢中になっています。
正答率50％を80％にするのは、派手な話ではないかもしれません。
でも自分は、それでいいと思っています。
0から1へ。1が大きいなら、0.1で。
見えない音声環境の中で、0.1ずつ掘り進めた先に、まだ誰も見ていない景色がある気がしています。
🎬 見えない映像クリエイターが作った動画
目が見えない私にとって、AIは「生み出す」ツールではなく「できない」を取り去るパートナーでした。ローカルLLMもまた、見えない環境から知識を掘り出すための道具です。
📎 よろしければこちらの記事ものぞいていただけるとうれしいです
4文字で一晩の仕事が終わる。Claude Codeリモートコントロールの衝撃
https://note.com/kind_fish6099/n/naf4e82ad46a3
今回の実験でも司令塔を務めたClaude Code。その破壊力に最初に気づいた夜の話です。
ACE-Step」数万曲作った全盲クリエイターが、自分のPCで笑った日
https://note.com/kind_fish6099/n/n1a5f16f5e4a3
音楽AIを自分のPCで動かしたときの感動は、今回ローカルLLMを初めて走らせた瞬間と重なります。
目が見えない私が、AIで「編集部」を作って記事を書いた話
https://note.com/kind_fish6099/n/n7153ae7a62e3
AIを「使う」から「組み合わせて仕組みにする」へ。OSSモデルとRAGで弱点を補う今回の実験も、同じ発想の延長線上にあります。
#視覚障害 #AI #ローカルLLM #ClaudeCode #全盲クリエイター #RAG #アクセシビリティ #いまあなたに伝えたいこと
