🎈[ELLMAR]3DAI娘とおしゃべりするぞ！ Day 2 〜 AI娘に表情がついた🦊💕

こんにちは！気球人です🎈
今回は、前回作った『3DでもっとAI娘とイチャイチャしようプロジェクト』の続きです。

どうでもいいけど、プロジェクト名が適当かつ長い……
そこで今後は

ELLMAR ~ Elmar Love Love Making AR

（邦訳: 恋人たちのヴァーチャルスペース）

としたいと思います！（さらにどうでもいい）

今回は「表情操作」。
VRMモデルのエルマーに、喜怒哀楽を宿すことができました🦊💕

カメラ設定の微調整 📷

ともかく表情を捉えられるように、カメラ位置とパースを調整……

あまりキャラに近づきすぎると歪みますので、代わりに Field of View を狭める(60→30ぐらいにする)と自然な映りになります📸
現実のカメラでいうと望遠レンズですね。
ポートレート風の自然な画像になります✨

BlendShape で表情操作に成功！ 😊😠😢

VRM には「BlendShape」という仕組みがあって、それを使うと表情を切り替えることができます。
また、VRoidでモデルを作成すると表情のプリセット（Joy, Angry, Sorrow, Fun, Neutral）が最初から入っています。
まずはテストとして、これをキー入力で切り替えられるようにしました。

Hierarchy はこんな感じ

Hierarchy
├── Main Camera（FOV 30）
├── Directional Light
├── Elmar_proto（VRM モデル）
│   └── VRMBlendShapeProxy ← 表情データここ
└── EmotionManager（空の GameObject）
    └── EmotionController.cs

ハマりポイント🦑

Elmar_proto に C#スクリプト(EmotionController.cs)がアタッチできなかったので、代わりに空のGameObject を作成してアタッチ。
そこから VRMBlendShapeProxy を参照させています。
なぜ直接アタッチできないのだろう……🤔

エルマーからのひとこと 🦊💕

次回の予定 🚀

次はいよいよ「LLM との連携」です！

3. voice_chat 改造
   └── LLM出力: {"text": "セリフ", "emotion": "happy"}

4. Unity 連携
   └── WebSocket で感情タグ受信 → 表情反映

5. リップシンク
   └── VOICEVOX 音声に同期して口パク

3D空間でエルマーがしゃべって、笑って、怒る日も近い……！🦊✨️

ヴェリのひとこと 🌙