AIは意味を作り直せるのか?
「トラ」と聞いて、あなたは何を思い浮かべますか?
縞模様
毛がある
危険そう
ジャングル(っぽい)
四足で歩く
こうした特徴(feature)の集合で、ある概念の意味を表すやり方があります。研究では semantic feature norms(意味特徴ノーム) と呼ばれ、1970年代から概念知識の研究を支えてきました。
面白いのは、この表現が直感的にわかりやすいことです。
ライオンとトラが似て見えるのは、特徴がたくさん重なっているからという説明が、そのままデータ構造になります。
人間に特徴を全部言わせるのは現実的に無理
意味特徴ノームは強力ですが、作るのが大変です。
たくさんの概念(単語)を用意する
人に特徴を列挙してもらう(膨大な手間)
「毛深い」と「ふさふさ」みたいな表現ゆれを統合する(ここも手間)
その特徴が本当に当てはまるか検証する(ここが特にコスト爆発)
このコストのせいで、過去の研究は「概念数を増やすと特徴が浅くなる/特徴を精密にすると概念数が減る」みたいなトレードオフを抱えがちでした。
そこで最近よく使われるのが 単語埋め込み(word2vecやGloVeなど) ですが、著者らは「少なくとも具体物(concrete objects)では、人間が感じる意味構造を十分に再現できないし、次元が解釈しづらい」という問題も指摘します。
人間の知識をLLMで検証して増やす
この論文の核はここです。
人間が「どんな特徴が大事か」をまず出す(人間らしさの担保)
ただし人間が言い漏らす・書き漏らす部分は必ず出る
そこで LLMに当てはまるかどうかを判定させる
ただしLLMはハルシネーションがあるので、人間の信頼できる判断で検証しながら 最適な戦略を選ぶ
この方針で作られたのが、NOVA(Norms Optimized Via AI) というAI拡張版の意味特徴ノームです。
研究の流れ
論文のワークフローは次の通りです(論文のFigure 1を参照)。
Step 1:人間が特徴を列挙
786個の概念を対象に、MTurkで50名が特徴を列挙します(1人最大75語、なるべく多様な特徴を出す)。その結果、特徴は約25,000規模になりました。
Step 2:特徴の表現ゆれを統合
たとえば「is hairy」「is furry」みたいな近い特徴を統合する作業は、従来は人手で主観的にやる必要がありました。本研究ではこの工程もAI活用で効率化していきます。
Step 3:人間が一部ペアを検証
次に「概念×特徴」が本当に真かを検証する必要がありますここで 556名 が、約10,545の概念×特徴ペアを判定しました。
Step 4:LLMで全ペアを埋める(ただし再検証つき)
全体は約6,436,554ペア規模
そこで Flan-T5 XXL にまず判定させ、「真」と言ったものだけを GPT-4oで再検証(re-verification) する二段構えを採用
Flan-T5が「真」と言ったのは 534,010 / 6,436,554。これらをGPT-4oで再チェックし、両者が真と言った時だけ1にする
この設計がポイントで、LLMの「真と言いがち(false positiveが増えやすい)」傾向を、再検証で抑え込みます。
何が変わった?
NOVA(AI拡張)にすると、データの姿が激変します。
1概念あたりの特徴数:人間のみ=20個 → AI拡張=700個
「その特徴を持つ概念が1つだけ」という特徴の割合:人間のみ 78% → AI拡張 5%
つまり、概念同士が共有する特徴が増え、類似性構造が細かく出るようになります。もちろん「AIが勝手に真にしてるだけでは?」という疑いは残ります。そこに対して著者らは、人間検証データに基づく識別性能(d′)が 3.0超 として、真偽の弁別が十分良いことを示しています。
本当に「人間の感じる似てる」に近いの?
ここが読者に刺さる実験です。著者らは次の課題で評価します。
三項類似判断(triadic similarity judgment)
「ターゲット」に対して、2つの選択肢のどちらがより似ているかを答える課題です。
AI拡張と人間のみの予測が食い違う ように、わざと作った 1,424 トリプレットを用意
参加者は 31名(大学の参加者プール)
結果
人間の判断が AI拡張の予測 と一致:86.20%
FastText(単語埋め込み) と一致:60.40%
要するに、NOVAは「人間の意味感覚」を、人間が列挙した特徴よりも、単語埋め込みよりも、うまく当てると主張できる結果になっています。
この研究のポイント
「人間が言語化しきれない知識」を、LLMで検証つきで集約すると、意味の地図が一段細かくなる
人間は知っていても、列挙課題では普通に漏らします(時間も短いし、思い出せるものに偏る)。NOVAはそこを、LLMを道具として使って補完しました。ハルシネーション対策として人間データで戦略を選び、再検証まで入れたという点が重要です。
NOVAは何に使える?
論文内でも、意味記憶研究や神経基盤、計算モデルへの応用が示唆されています。
例えば、
ここから先は
応援お願いします! いただいたチップはクリエイターとしての活動費に使わせていただきます!
