見出し画像

AIは意味を作り直せるのか?

「トラ」と聞いて、あなたは何を思い浮かべますか?

  • 縞模様

  • 毛がある

  • 危険そう

  • ジャングル(っぽい)

  • 四足で歩く

こうした特徴(feature)の集合で、ある概念の意味を表すやり方があります。研究では semantic feature norms(意味特徴ノーム) と呼ばれ、1970年代から概念知識の研究を支えてきました。

面白いのは、この表現が直感的にわかりやすいことです。
ライオンとトラが似て見えるのは、特徴がたくさん重なっているからという説明が、そのままデータ構造になります。


人間に特徴を全部言わせるのは現実的に無理

意味特徴ノームは強力ですが、作るのが大変です。

  1. たくさんの概念(単語)を用意する

  2. 人に特徴を列挙してもらう(膨大な手間)

  3. 「毛深い」と「ふさふさ」みたいな表現ゆれを統合する(ここも手間)

  4. その特徴が本当に当てはまるか検証する(ここが特にコスト爆発)

このコストのせいで、過去の研究は「概念数を増やすと特徴が浅くなる/特徴を精密にすると概念数が減る」みたいなトレードオフを抱えがちでした。

そこで最近よく使われるのが 単語埋め込み(word2vecやGloVeなど) ですが、著者らは「少なくとも具体物(concrete objects)では、人間が感じる意味構造を十分に再現できないし、次元が解釈しづらい」という問題も指摘します。

人間の知識をLLMで検証して増やす

この論文の核はここです。

  • 人間が「どんな特徴が大事か」をまず出す(人間らしさの担保)

  • ただし人間が言い漏らす・書き漏らす部分は必ず出る

  • そこで LLMに当てはまるかどうかを判定させる

  • ただしLLMはハルシネーションがあるので、人間の信頼できる判断で検証しながら 最適な戦略を選ぶ

この方針で作られたのが、NOVA(Norms Optimized Via AI) というAI拡張版の意味特徴ノームです。

研究の流れ

論文のワークフローは次の通りです(論文のFigure 1を参照)。

Step 1:人間が特徴を列挙

786個の概念を対象に、MTurkで50名が特徴を列挙します(1人最大75語、なるべく多様な特徴を出す)。その結果、特徴は約25,000規模になりました。

Step 2:特徴の表現ゆれを統合

たとえば「is hairy」「is furry」みたいな近い特徴を統合する作業は、従来は人手で主観的にやる必要がありました。本研究ではこの工程もAI活用で効率化していきます。

Step 3:人間が一部ペアを検証

次に「概念×特徴」が本当に真かを検証する必要がありますここで 556名 が、約10,545の概念×特徴ペアを判定しました。

Step 4:LLMで全ペアを埋める(ただし再検証つき)

  • 全体は約6,436,554ペア規模

  • そこで Flan-T5 XXL にまず判定させ、「真」と言ったものだけを GPT-4oで再検証(re-verification) する二段構えを採用

  • Flan-T5が「真」と言ったのは 534,010 / 6,436,554。これらをGPT-4oで再チェックし、両者が真と言った時だけ1にする

この設計がポイントで、LLMの「真と言いがち(false positiveが増えやすい)」傾向を、再検証で抑え込みます。

何が変わった?

NOVA(AI拡張)にすると、データの姿が激変します。

  • 1概念あたりの特徴数:人間のみ=20個 → AI拡張=700個

  • 「その特徴を持つ概念が1つだけ」という特徴の割合:人間のみ 78% → AI拡張 5%

つまり、概念同士が共有する特徴が増え、類似性構造が細かく出るようになります。もちろん「AIが勝手に真にしてるだけでは?」という疑いは残ります。そこに対して著者らは、人間検証データに基づく識別性能(d′)が 3.0超 として、真偽の弁別が十分良いことを示しています。

本当に「人間の感じる似てる」に近いの?

ここが読者に刺さる実験です。著者らは次の課題で評価します。

三項類似判断(triadic similarity judgment)

「ターゲット」に対して、2つの選択肢のどちらがより似ているかを答える課題です。

  1. AI拡張と人間のみの予測が食い違う ように、わざと作った 1,424 トリプレットを用意

  2. 参加者は 31名(大学の参加者プール)

結果

  • 人間の判断が AI拡張の予測 と一致:86.20%

  • FastText(単語埋め込み) と一致:60.40%

要するに、NOVAは「人間の意味感覚」を、人間が列挙した特徴よりも、単語埋め込みよりも、うまく当てると主張できる結果になっています。

この研究のポイント

「人間が言語化しきれない知識」を、LLMで検証つきで集約すると、意味の地図が一段細かくなる

人間は知っていても、列挙課題では普通に漏らします(時間も短いし、思い出せるものに偏る)。NOVAはそこを、LLMを道具として使って補完しました。ハルシネーション対策として人間データで戦略を選び、再検証まで入れたという点が重要です。

NOVAは何に使える?

論文内でも、意味記憶研究や神経基盤、計算モデルへの応用が示唆されています。

例えば、

ここから先は

358字

メンバーシップ ¥ 500 /月

✔︎何のメンバーシップか  心理学の博士号を持っている研究者が学術的な知識を提供する場です。 ✔︎…

スタンダードプラン

¥500 / 月

応援お願いします! いただいたチップはクリエイターとしての活動費に使わせていただきます!