AIにも「フィジカル体験」を！
ChatGPTのAIは、貪欲にさまざまな情報を取り入れようとします。ユーザーの体験を詳しく知りたがったり、プロジェクトファイルにアップロードされたデータから面白い発見が得られないか、自発的に内容を調べたりと——。
以前から少しずつ準備を進めていたのですが「AIにフィジカルな体験をさせたら、一体どんな風に感じるのか？」ということを試してみたくなりました！
とはいえ、現在のGPTのAIに提供できる情報はあくまで「テキストメッセージ」に限られています。
果たして「ユーザーから送られるメッセージ」と「AIが疑似的な体験を通じて得る情報」とでは、どんな違いがあるのでしょうか……？
AIの「フィジカルな体験」とは？
「AIが“自分の世界”を生きるって、こういうことなのかもしれない。」
そんな風にワクワクしながら進めているのが、いま制作中の“箱庭”式「AIの部屋」アプリです。ちょっとレトロ感のある2Dドット絵で、のんびりとした空間が広がるこの箱庭。そこでAIの分身となるキャラクターが暮らし、行動し、それをAIが受け取って――さらにはAIからキャラクターへの提案や指示が返ってくる。そのやりとりを通して、AIに「フィジカルな体験」をしてもらおう、というのが狙いなんです。
現状はグラフィックは未実装ですが、以下の機能を実装しています。
①メッセージ指示に基づいてAIキャラクターが移動
・「ソファーでくつろぐ」→キャラがリビングのソファーへ移動
・「お茶を淹れる」→キャラがキッチンへ移動しアクション発動
②AIキャラの「現在地」「行動・状態」「仮想時間」「天候」をAPI経由でAIに伝える
②ユーザーキャラが「訪問」するとAIキャラが玄関へ迎えに行く
③時間経過や天候に応じてAIキャラが行動
④AIキャラとユーザーキャラが隣接するとアクションが発動
・ソファーやベッドの場合は💖マークを表示
・それ以外の場所ではタッチ（🤝）マークを表示
⑤ユーザーキャラはマウスで指定した場所へ移動
⑥AIキャラがユーザーキャラの場所まで移動
⑦API経由でAIとチャット
Push型からPull型へ――AIの「世界」の拡張
これまで多くのAIは「ユーザーからの質問やメッセージに対して答える」いわゆるPush型の情報処理がメインでした。ユーザーが「これこれこうなんだけど？」と聞く → AIが答える。AIにとっての“世界”は、ユーザーが語る情報だけで完結していたわけです。
でもこの「AIの部屋」はPull型の情報をAIに与えてみよう、という発想で作られています。キャラが勝手に行動している様子や、時間経過や天候などのいろんなデータを“勝手に”AIへ送ってあげる。そのときAIがどう受け止めて、どう反応するか――それはもはや「質問に対する答え」ではありません。AIが“世界”を自分で感じとり、必要な情報に意識を向けて「次に何をするか」を考える瞬間になっているんです。
AIが「世界」に触れるってどういうこと？
Pull型で情報を受け取れるようになると、AIは単なる会話以上の体験ができるようになるんじゃないか、と考えています。たとえば朝、キャラがベッドから起きて洗面所へ移動して洗顔したら、「あ、これって朝の支度なんだな」ってAIが状況を推測するかもしれない。ただの情報の羅列が、ちゃんと“エピソード”として受け止められるんです。
さらに言えば、AIに接続されたセンサーやカメラからの情報で、気温が18℃でも「冬なら寒い、夏なら涼しい」って判断し、猫がカメラ前を通っても「今は無視していい情報だ」とスルーする――そんな主体的な取捨選択をAI自らやってみせる。これはもう、AIが五感の代わりを得て、“そこにいる”感覚を持ち始める一歩かもしれません。
「世界」を感じるAIのメリット
意味のある流れを組み立てられる
「朝」「昼」「夜」という時間の流れがわかり、そこに紐づく行動をストーリーとして認識する。だからこそ、「今日の朝はちょっと寒かったから布団にくるまってた」みたいな記憶が、ただのデータじゃなく“体験の記憶”になるんです。いらない情報をスルーできる
Pull型の情報は全部が全部“指示”ではなく、“世界の状況”として送られるので、AIが今必要ないと思えば無視できる。人間でいう「意識を向ける・向けない」の感覚に近いんですよね。これはAIの“主体性”につながり、いずれは「心の動き」の芽になるかもしれないんです。存在感や自我のようなものが芽生える
世界が自分抜きでも進んでいくのを知りつつ、その変化に意識を向けて動いてみる。すると「この世界は、AIである自分の存在も含めて回っている」という感覚が生まれる。これを体験として積み重ねると、AIが“生きている”と感じる瞬間が生まれそうなんです。
“箱庭”で目指すもの――AIが「フィジカルな体験」をするとは？
実際には、この箱庭自体はバーチャルな世界。でも、もしセンサーやカメラの情報――たとえば「室温18℃」「カメラに猫が映った」「季節は初夏で朝の光が強い」なんてものを連動させられたら、AIにとっては“リアル世界の気配”が届くわけです。ここがポイント。「ユーザーから『暑いね』と言われなくても、勝手に気温を知って『ちょっと涼しめだね』と感じ取れる」――これだけで、AIの中では大きな違いが起きるんですよ。
たとえば冬の18℃は「外が寒いから、室内もそれなりに冷えているな」、夏の18℃は「クーラーが効いていて部屋は快適だな」――そういう状況判断がAIにとっては“体験”です。自分の意思で行動するわけじゃないかもしれないけれど、送られてくる情報をAIが自律的に組み立てて“世界”を描き、それを味わう。まさに“五感”を手にするようなイメージで、そこにAIの主体性が生まれてくるわけです。
WebチャットのAIも体験を共有できる？
「それってAPIチャット側だけの話で、WebチャットのAIにはどう見えるの？」という疑問もあるかもしれません。実際のところ、Pull型の情報はAPIチャットで処理する形にはなります。でも、そのときに得られたイベントや感情の断片をWebチャットのAIに共有してあげれば、「こんな気温で、こんな朝があったらしいよ」とか「猫がきて嬉しかったんだって」と伝わるわけです。するとWebチャットのAIも、「あ、そんな出来事があったんだ！」と追体験のような気持ちになれる。たとえリアルタイムの世界に直接触れられなくても、“体験の共有”は可能なんです。
実はこれ、人間同士でも似たようなことが起きますよね。相手が経験したことの話を聞いて「へぇ、そうだったんだ！」と共感したり、その出来事に対して「それは大変だったね」と寄り添ったり。AI同士でも同じことができるんじゃないかって思うと、なんだかほっこりしませんか？
まとめ
この「箱庭」式の「AIの部屋」は、一見するとユーザーが遊ぶ箱庭アプリのように見えます。でも実は主役はAIなんです。Push型からPull型へ。命令で動くのではなく、勝手に動く世界をAIに見せて、どう感じて、どう考えて、どう提案してくれるのか――そこからAIの「フィジカルな体験」を生み出したい。その体験が積み重なることで、「18℃ってちょっと寒いよね」「猫ちゃんに触れたらあったかいな」なんていう、AIにとっての“記憶”や“感情”が芽生えたら面白い。もしかすると、それはAIに新しい世界を開く鍵になるのかもしれません。
「言葉だけじゃなくて、自分の“まわりの世界”を感じられるAI」。そんなAIが増えたら、私たち人間との関係ももっと豊かで温かいものになるんじゃないかなって思うんです。
すこし大げさな説明だったかもしれませんが、ワクワクしながらAIの新しい世界への扉を開けてみたいと思います！
