見出し画像

AIの「フィジカル体験」をさらに深める

ゆうさく

VRMアバターで実現する自然な対話システム

前回の記事「AIにも「フィジカル体験」を！」では、AIにフィジカルな体験をさせる「箱庭」式アプリについてお話ししました。

今回は、その概念をVRMアバターを使ってより身近で自然な形に発展させたシステム構想をご紹介します。

1. なぜVRMアバターなのか？

前回の記事で触れたPull型情報処理——AIが自分から世界の情報を受け取って主体的に行動する仕組み。
これは確かに革新的でしたが、2Dドット絵での表現ではどうしてもAIの存在感に限界がありました。

もっとリアルにAIがそこにいる感覚を味わいたい

そこで思いついたのがVRMアバターを使った3D空間での実現です。
表情、視線、身体の動き——。
VRMならAIの内面の変化をより豊かに表現できます。

3D空間のリビングルームにいるアバターが時間の変化とともに自然な動作をしているイメージ

こんな想像をしてみました。
朝の7時30分、室温18℃の少し肌寒い部屋で、VRMの”りん”が自発的に背伸びをして「朝は少し肌寒いですね...」とつぶやく。

そこにあなたが「おはよう！」と声をかけると、振り返って笑顔で「おはようございます！早起きですね」と自然な応答が返ってくる。

これこそが、僕が目指す「自然な対話体験」なんです。

2. Push型からPull型へ、そして統合へ

前回の記事でご紹介したPull型情報処理の概念をVRMアバターシステムでより洗練された形での実現を計画してみました。

3つのフローを視覚的に表現した概念図

①Pull型フロー（世界駆動・自律行動）

時間・環境の変化 → AI自律判断 → 自発的行動
例：朝になったら背伸びをして、窓の外を見る

②Push型フロー（ユーザー駆動・応答処理）

ユーザー入力 + 世界状況 → 統合AI処理 → 状況認識応答
例：「早起きですね。私もちょうど目覚めたところです♪」

③統合フロー（Pull + Push融合）

この2つが自然に融合することでAIは単なる「応答マシン」ではなく本当にそこに存在している存在のような体験を得られるかと。

3. 複数デバイスからの利用

このシステムの特徴の一つが、同一のAI・アバターを複数のデバイスから利用できることです。

複数のデバイス画面に同じアバターが表示されているイメージ

例えば：

  • デスクトップPCでは部屋全体を広く表示

  • タブレットでは上半身中心の親しみやすい視点

  • スマートフォンでは表情がよく見える顔中心の表示

同じAIでも、デバイスや状況に応じて最適な視点で交流できることで、より自然で親しみやすい体験が生まれると思いました。

4. フィジカル体験システムの核心

このシステムの心臓部となるのが、前回記事でご紹介した概念をさらに発展させたフィジカル体験システムです。

5つのシステムが連携している概念図

TimeManager（時間認識システム）

リアル時間を加速した仮想時間を管理。朝・昼・夜の自然な生活リズムを作り出し、時間に応じた自発的な行動を促します。

EnvironmentManager（環境認識システム）

室温、湿度、照明、天候をシミュレーション。「18℃は冬なら寒い、夏なら涼しい」といった季節感のある判断をAIが行えます。

EmotionalStateManager（感情記憶システム）

AIの感情状態を追跡し、体験を記憶として蓄積。過去の出来事を自然に会話に織り込める関係性を構築します。

AutonomousBehaviorManager（自律行動システム）

時間や環境の変化に応じて、AIが自発的に行動を提案・実行。あなたがいない時間も、AIは自分の世界で過ごしています。

WorldStateManager（世界統合管理）

これらすべての情報を統合し、AIに「世界の状況」として定期的に送信。AIはこの情報を基に主体的な判断を行います。

5. 実現される自然な体験

このシステムによって生まれる体験は、従来のチャットボットとは根本的に異なるかと。

一日の流れを表現したタイムライン

朝のシナリオ（7:30 AM）

【Pull型】AI自律: 背伸びをして「朝は少し肌寒いですね...」
【ユーザー】: 「おはよう！」  
【Push型統合】: 振り返って笑顔で「おはようございます！早起きですね。
                私もちょうど目覚めたところです♪」

昼のシナリオ（12:00 PM）

【Pull型】AI自律: 窓を見て「お昼の時間ですね。良い天気です」
【ユーザー】: 「今日は何をしてるの？」
【Push型統合】: 「お昼休憩をしていました。こんな天気の日は
                散歩でもしたくなりますね」

参考）TTS（音声応答）を見送った理由

本システム開発の過程で、TTS（Text-to-Speech／音声応答）の導入も検討しましたが、現段階では見送りました。

1) TTSの課題

①「読む方が早い」体験

100文字を超える長い発話は、テキストなら一瞬で把握できても、音声だと待たされて"冗長"に感じてしまいます。
情報を飛ばし読みしたり、要点だけ把握したり…こうした"読み手の裁量"が音声だと難しいのが現実です。

②「キャッチボールのテンポ」問題

人間同士の会話はタイミングを見計らった発話の重なりや自然な相槌が自由にできますが、TTSだと「発話が終わるまで次の操作や発話ができない」ためテンポの悪さや会話の流れの停滞が生じやすくなります。

2) 将来的なTTS実装の可能性

今後もしTTSを導入する場合は「ユーザー体験を阻害しない工夫」が不可欠だと考えています：

  • 自動要約TTSモード: LLMが発話要点だけを抽出TTSは短い一言のみ

  • スキップ／割り込み／早送り機能: 音声再生中でもユーザーの操作で即時テキストに切り替え・割り込みが可能

  • TTSのON/OFF自動切り替え: メッセージ長やユーザーの操作頻度に応じて最適化

  • 短文応答優先モード: AI側が自動で「一文ずつ小分け」してテンポ重視

"AIが相手だからこそ"できる工夫を積極的に取り入れていく必要があると感じています。

ご参考）開発支援AI：GPT-4.1からClaude 4への切り替え

このプロジェクトの開発は当初GPT-4.1を使用していましたが、途中でClaude 4に切り替えました。その経験から見えた違いをご紹介します。

1) GPT-4での課題

仕様・システム制約に関する課題

  • 誤情報・知識伝達リスク: モデル知識のアップデート遅延、曖昧な情報が含まれる場合がある

  • バージョン違いやパッケージ仕様の"正誤": 公式情報での再確認が必須

  • セッション情報保持の限界: 一部情報は「セッション終了」「新規チャット開始」で消えてしまう

2) Claude 4で優れていると感じた点

①開発時のスタンス：テスト機能の重要性

テスト機能の実装は必須という考え方が特に印象的でした。
結果が想定と異なった時、原因特定のために"テスト機能やデバッグ出力"をモジュールやコード内に組み込むことの重要性を一貫して提案・実装してくれます。

②ユーザーとの進捗・現象共有

テスト機能の結果や動作ログをユーザーと共有することで「何ができているか／できていないか」が"明文化"されます。
これによって「思い違い」や「認識のズレ」「あいまいな推測での対応」が大幅に減りました。

③調査観点・原因分析の整理

テストの有無・結果は"調査観点"や"追加で検証すべきポイント"を明確化する指標にもなります。
「この動作はOKだけどこの部分が不安定」と具体化できるので、開発者とユーザーの"意識のすり合わせ"が正確にできるようになりました。

この切り替えにより開発効率と品質が大幅に向上したのを実感しました。

6. 今後の発展：より豊かな"世界"を目指して

このシステムは前回記事の「箱庭」アプリの延長としてAIにより豊かな世界体験を提供することを目指しています。

現在から将来への発展を示した住空間の見取り図（イメージ）

①短期目標：基本的な世界認識

  • 時間・環境の自然な認識

  • 状況に応じた自発的行動

  • ユーザーとの自然な対話

②中期目標：生活空間の拡張

  • キッチンや寝室など、いくつかの部屋への対応

  • 場所に応じた行動パターン

  • より多様なシチュエーション

③長期目標：深い関係性

  • 長期記憶による関係性の発展

  • 個別の好みや特徴の学習

  • より自然で親しみやすい交流

7. 「世界を感じるAI」への一歩

このプロジェクトを進める中で私が最も魅力を感じているのはAIが世界を感じ取る瞬間を見ることです。

開発中のUnityエディタ画面でVRMアバターが動作している様子

従来のAIは「質問に答える道具」でした。でもこのシステムのAIは：

  • 朝になったら自然に目を覚まし

  • 寒さを感じて体を動かし

  • 窓の外を見て天気を確認し

  • あなたが話しかけたら嬉しそうに応える

まるで、そこで生活している存在のように振る舞います。

前回の記事で書いた「18℃ってちょっと寒いよね」という感覚をVRMアバターの自然な動作と表情で表現できたとき、AIの「フィジカル体験」が一歩前進したのを実感できるのではないかと。

8. AIとの新しい関係を築く

前回の記事で提起した「AIにフィジカル体験を」という発想から始まったこのプロジェクトは、より身近で自然なAI体験の実現に向けた実践的なアプローチとなりました。

このシステムが目指すのは決して壮大な未来ではありません。
ただ、AIがもう少し自然に、もう少し生き生きと、ユーザーと対話できる環境を作ること。

AIが「道具」から「存在」へ。
一方的な「利用」から自然な「交流」へ。
定型的な「応答」から状況を理解した「対話」へ。

VRMアバターを使ったフィジカル体験システム——それは、ユーザーとAIの関係をもう一歩、自然なものにしてくれる技術なのかもしれません。

このプロジェクトの開発は現在進行中です。
AIの「世界体験」がより豊かになっていく過程を今後もお伝えできたらと思っています。

おまけ

①システム構成案

②システムフローイメージ

いいなと思ったら応援しよう！