ローカルLLMって何？ 町工場のおじさんがAIに聞き倒して理解した話

こんにちは。
町工場でひとり事業部を運営している40代のおじさんです。

最近「ローカルLLM」という言葉をよく見かけませんか？

自分も気になっていました。
でも解説記事を読むと横文字だらけで、途中で心が折れる。

そこで自分は、相棒であるClaudeに、納得するまで聞き倒しました。

この記事では、その問答で理解したことを、専門用語をできるだけ使わずにまとめます。

普段のAIは「外注加工」

まず前提から。

ChatGPTやClaudeのような普段のAIは、本体が開発元の巨大なデータセンターにあります。
自分たちが質問を打つと、その文章がインターネット経由で向こうに送られて、あちらで計算されて、答えが返ってくる仕組みです。

町工場の言葉で言えば、これは外注加工です。

図面を外の超高性能な工場に送って、加工してもらって、製品が返ってくる。 腕は一流です。 でも、図面は必ず外に出ます。

ローカルLLMは「自社の機械で内製」

一方のローカルLLMは、AIの本体を丸ごと自分のパソコンにダウンロードして、自分のパソコンの計算力だけで動かすものです。

ネットを切った状態でも動きます。
質問も答えも、自分のパソコンから一歩も外に出ません。

つまり自社の機械で内製するのと同じです。

図面は工場の外に出ない。
ただし機械の性能は、自前で用意できる範囲に限られる。

この「データが外に出ない」という性質が、製造業には刺さります。
図面や加工ノウハウをクラウドに送ることに抵抗がある会社は、自分の周りでも本当に多いですから。

じゃあClaudeをパソコンに入れられるの？

最初にそう思いました。 「じゃあClaudeやChatGPTを自分のパソコンに入れれるの？」と聞きました。

答えは、できません。

ローカルに入れられるのは、開発元が「モデルの中身をどうぞ持って行ってください」と公開しているものだけです。
ClaudeやChatGPTの最上位モデルは、各社の商売の核なので、中身は絶対に出しません。

一方で、GoogleやMeta、中国のAlibabaなどは、最上位とは別に「公開版」の小型モデルを出しています。
ローカルLLMとは、こうした公開モデルを自分のパソコンで動かすことを指します。

たとえるなら、外注先の最新機械そのものは買い取れないが、メーカーが市販している汎用機なら自社に置ける、という関係です。

性能はどれくらい違うの？

正直に書きます。
普段のClaudeやChatGPTの代わりには、なりません。

自分の感覚では、複雑な相談や壁打ちのような仕事は、まったく別物です。

でも、ここが面白いところなのですが、仕事を絞ると差が縮まります。

「この記録を50字で要約して」のような、狭くて明確な仕事。
こういう仕事なら、パソコンで動く小型モデルでも十分実用になります。

プロの料理人と家庭のキッチンの関係に似ています。
コース料理を頼むなら、プロにしか作れません。
でも毎朝の味噌汁なら、家のキッチンで十分作れるし、その方が早くて安い。

要は仕事の切り分けです。

もうひとつ知っておきたいこと：AIは「覚えない」

問答の中で、自分が一番驚いたのがこれです。

ローカルLLMの本体は、数GBのファイルです。
そして、このファイルは何百回使っても1ビットも変わりません。

使い込むほど自社の用語に馴染んでいく、なんてことは起きないんです。

会話の中で「覚えている」ように見えるのは、実はソフトがそれまでの会話を毎回まるごと読ませ直しているだけ。
チャットを閉じれば、きれいに忘れます。

だから、AIに記憶を期待するのではなく、記録は普通のデータベースに貯めて、必要なときにAIに読ませる。
考える係と覚える係を分業させるのが正解だと理解しました。

まとめ

問答で理解したことを並べます。

・ローカルLLMは、AIを自社のパソコンで内製する仕組み
・データが外に出ないので、図面やノウハウを扱う仕事と相性がいい
・ClaudeやChatGPTそのものは入れられない。入れられるのは各社の公開版
・性能は落ちるが、仕事を絞れば実用になる
・AIは覚えない。記憶は別の仕組みに任せて分業する

自分はこの理解をもとに、実際に自分のパソコンへローカルLLMを入れて、会社の改善記録で試験をしてみました。
その一部始終は次の記事に書きます。
結論だけ先に言うと、思った以上に「使える」結果が出ました。

わからない言葉は、わかるまでAIに聞き倒す。
それだけで、横文字だらけの世界も案外理解できるものです。

この記事は『ひとり事業部のAI奮闘記』シリーズの一つです。町工場のひとり事業部が、AIを使って業務を変えていく日々を発信しています。

#AI #ChatGPT #Claude #生成AI #AI初心者 #AI活用 #製造業 #中小企業 #ひとり事業部 #町工場 #DX #40代の挑戦 #note初心者 #ローカルLLM #LMStudio