9割の人が知らない『AIの成績表の見方』｜信頼できるAIを見抜く5つの評価軸

こんむぎわ〜♪

むぎ屋のnoteに来てくださって、本当にありがとうございます(´∀｀)

今日はですね、Forbes JAPANで見かけた記事を読んで、「これ、めちゃくちゃ大事なのに誰も教えてくれないやつだ！」って思ったことをお話しします。

タイトルがちょっと怖いですよね。。。でも、これ本当に大切なんです。

皆さん、AIを使うときに「このAI、本当に信頼できるの？」って不安になったことありませんか？

私、あるんです。それも、めちゃくちゃ痛い失敗を経験してから。。。

血の気が引いた、あの日の出来事

これ、以前の記事でもちょっと触れたんですけど、私、note書き始めたばかりの頃にやらかしたんです。

ChatGPTに調べてもらった統計データを、何の疑いもなく記事に載せちゃって。

「へぇ〜、○○の市場規模って××億円なんだ！これは読者の皆さんに伝えなきゃ！」

ってウキウキしながら公開したら。。。

コメント欄に「このデータのソース、どこですか？調べても出てこないんですが」って。

心臓が止まりそうになりました。

慌てて自分で調べ直したら、そんな統計、どこにもない。

AIが「ハルシネーション（もっともらしい嘘）」をやらかしてたんです。

すぐに記事を修正して謝罪したんですけど、あの時の冷や汗は今でも忘れられません。。。

「AIを信じすぎた私が悪かった」って本気で反省しました。

でも、なんでAIは「完璧じゃない」の？

それから、私、必死で勉強したんです。

G検定も取得して、AIの仕組みについて深く学んで。

そこで気づいたのが、「AIの性能をちゃんと測る方法」が、めちゃくちゃ難しいってこと。

Forbes JAPANの記事で、この問題がすごく分かりやすく説明されてたんです！

従来のAIって、イエス・ノーで答えられる質問が得意だったんですよね。

「このメール、スパムですか？」→「はい」or「いいえ」

これなら、正解率とか精度とかで簡単に評価できる。

でも、生成AIは違うんです。

「この詩、良いですか？」 「このビジネスレポート、有用ですか？」

こういう質問には、正解が一つじゃないんですよね。

人によって「良い」の基準が違うし、文化や状況によっても変わる。

だから、「このAI、本当に優秀なの？」を判断するのが、めちゃくちゃ難しいんです！