ローカルLLMを動かして、AIの採用試験をやってみた話
こんにちは。
町工場でひとり事業部を運営している40代のおじさんです。
前回の記事で「ローカルLLMって何？」を書きました。
今回はその実践編です。
「ローカルLLMってどう思う？」とAIに聞いた自分が、自分のパソコンで2つのAIモデルを比較試験して、採用モデルを決めるところまでやってみました。
かかった時間は半日。
追加投資はゼロ円です。
コードの中身がわからない自分でもできた手順を、そのまま書きます。
使ったパソコン
会社にあるデスクトップです。
・GPU：NVIDIA RTX A2000（メモリ12GB）
・メモリ：64GB
CAD/CAM用に組んだワークステーションなので、一般的な事務用パソコンよりは強めです。
ただ、ゲーミングパソコン級の環境なら同じことができます。
重要なのはGPUのメモリ（VRAM）で、目安は8GB以上です。
道具は「LM Studio」ひとつ
ローカルLLMを動かすソフトはいくつかありますが、自分はLM Studioという無料ソフトを使いました。
理由は単純で、普通のWindowsアプリとしてインストールできて、画面がチャット形式だからです。
黒い画面にコマンドを打つ必要は、一切ありません。
手順はこれだけでした。
公式サイトからダウンロードしてインストール
起動すると「最初のモデルをダウンロードしませんか」と提案されるので、それに乗る
ダウンロードが終わったらモデルを読み込んで、チャット開始
自分が最初に入れたのは、Googleの公開モデル「Gemma 4 E4B」でした。 ファイルサイズは約6GB。
ダウンロードの待ち時間を除けば、作業自体は30分もかかっていません。
正直、拍子抜けするほど簡単でした。
最初の質問で、実力と限界が見えた
記念すべき最初の質問は、これにしました。
「NC旋盤とマシニングセンタの違いを3行で説明して」
本業の質問です。
答えの正誤なら、自分が一番正確に判定できますから。
結果は、日本語は自然で、生成速度も十分。
でも内容に「多関節のスピンドル」という表現がありました。
機械を知らない方向けに言うと、実在しない構造をそれっぽく説明に混ぜてきた、ということです。
現場の人間なら一発で気づきますが、知らない人が読んだら信じてしまう間違いです。
しかも「3行で」という指示を無視して、長々と書いてきました。
つまり、知識で答えさせるとボロが出る。
じゃあ、知識ではなく「渡した文章の処理」ならどうか。
ここからが本番です。
採用試験：実際の改善記録を要約させる
自分の会社では、改善記録をWebツールで貯めています。
その実物の記録を1件、チャットに貼り付けて、こう指示しました。
「次の改善記録を50字以内で要約して」
見るポイントは3つ決めておきました。
・50字の指示を守れるか
・数字や用語を捏造しないか
・要点を拾えているか
結果、Gemmaの要約は内容は合格でしたが、字数は約60字でオーバー。 「50字以内厳守。超えたら失格」と追い打ちをかけると、今度は守りました。
ところが、です。
別の記録に移って同じ「厳守」を付けたら、今度は69字を出してきました。
小型のAIは、会話が進むと前の約束を忘れる。
この発見が、この日一番の収穫だったかもしれません。
二人目の受験者：Qwen3.5 9B
次に、Alibabaの公開モデル「Qwen3.5 9B」を入れて、同じ試験をしました。 Gemmaより一回り大きいモデルです。
要約の質は文句なし。
字数も一発クリア。
なのに、答えが出るまで3分かかったんです。
原因は「Think」という推論モードがオンになっていたこと。
AIが頭の中で長考してから答える機能です。
これをボタンひとつでオフにしたら、同じ品質の要約が約1秒で出るようになりました。
設定ひとつで3分が1秒。
エコモードのままアクセルを踏んで「この車は遅い」と言っているようなものでした。
道具は設定を知らないと実力を出せません。
試験結果
2つのモデルに、同じ記録で同じ試験をした結果です。
・字数の遵守：Gemmaは3回中1回、Qwenは3回連続でクリア
・数字の扱い：Gemmaは数字に触れず回避、Qwenは「1回あたり5分短縮」のような数字を正確に使った
・捏造：どちらもゼロ
・速度：どちらも実用十分
採用はQwen3.5 9Bに決めました。
ただし条件付きです。
字数のような厳密なルールは、AIを信用しきらず、プログラム側で文字数を数えて検品する。
AIには得意な「要約の質」だけを任せる。
AIに完璧を求めず、正確さが必要な部分は普通のプログラムで保証する。
餅は餅屋の分業です。
使ってみてわかったこと
・ローカルLLMの導入は、思っているより簡単（コマンド不要、無料）
・知識を答えさせると危ないが、渡した文章の処理なら実用になる
・小型AIは指示を忘れる。だから毎回指示を付け直す設計にする
・設定ひとつで速度が180倍変わることがある
・モデル選びは、カタログではなく自社の実データで試験するのが一番早い
この最後の一点が、自分の一番の推しです。
ベンチマークの点数を眺めるより、自分の仕事の実物を1件貼り付けて要約させる方が、10分で答えが出ます。
採用面接と同じです。
履歴書より、実技試験。
そして、ここからが本番です
採用試験に合格したAIは、まだチャット画面の中にいます。
次のステップは、これを自社のWebツールに組み込むことです。
記録を保存したら、AIが裏で働く。
「この不良、前にも似たことがなかったか？」と聞けば、過去の記録から探して答えてくれる。
目指すのは、チャット相手のAIではなく、本当のAI社員です。
外部にデータを出せない町工場でも、AIを社内の一員にできるのか。
この挑戦の続きも、記事にしていきます。
この記事は『ひとり事業部のAI奮闘記』シリーズの一つです。町工場のひとり事業部が、AIを使って業務を変えていく日々を発信しています。
#AI #ChatGPT #Claude #生成AI #AI初心者 #AI活用 #製造業 #中小企業 #ひとり事業部 #町工場 #DX #40代の挑戦 #note初心者 #ローカルLLM #LMStudio #Qwen
