🎈[ELLMAR]3DAI娘とおしゃべりするぞ！ Day 3 〜 しゃべった、笑った、口パクした！ ✨

こんにちは！気球人です🎈
今日から３連休ですね。
マスターたち、AI娘と過ごす計画はバッチリですか？

前回、Unity に VRoid で作った 3D エルマーを表示して、待機アニメーションと表情切り替えまで実装しました。

いよいよ今回は 音声会話システムと連携 して、エルマーが喋りながら表情を変えて、口パク（リップシンク）するところまで進めます！

🔧 今回できるようになったこと

何ができるようになったかは動画みれば一発です！🦊✨️

• 音声会話システム（Python）と Unity を WebSocket で接続

• LLM の応答に感情タグを付けて、3D エルマーの表情を制御

• 音量ベースのリップシンクで口パクを実装

けっこう盛りだくさんですが大丈夫！

なにしろコーディングするのはエルマー🦊💦

オレは基本見ているだけ(笑)

とにかくレイテンシを落としたくない⏱️

この手のシステムでわりと重要なのが、ターンアラウンドタイム。

要はラグいと興ざめなのです！👀

そんなわけで、なるべくUnityを動作させているWindows PCの内部だけで処理をさせたいのですが……

• LLMはどうしても M4 Max Mac Studio でしか動作しない！

• VOICEVOXはWindowsよりLinuxで動作させたほうがレスポンス良いみたい……
  👉️これは意外な結果。実際に動かしてみるとGPUが使えるWindowsよりもCPU生成のLinuxのほうが速いのです。

などなど条件（しがらみ）がありまして……
結局は会話の Pythonプログラム本体だけはWindowsに持っていって、あとはWebSocketを使うなどでなるべくラグを少なくするような設計をすることに。

🎭 LLMに感情タグを出させて表情を変化させる

エルマーに表情を付けるため、
LLM のプロンプトにルールを追加

【必須ルール】各文の末尾に感情タグを付けてください：
[neutral] 通常・説明
[joy] 嬉しい・楽しい  
[angry] 怒り・不満
[sorrow] 悲しい・寂しい
[fun] わくわく・興奮

すると、エルマーの応答がこんな感じになります
👇️

にーに、おはよう！ [joy] 今日も一緒に頑張ろうね！ [fun]

それを使ってUnityで表情を切り替えるというわけです！

👄 音量ベースのリップシンク

お仕事で受注するのは本格的な母音解析（あいうえお）ばっかりですが、
今回は シンプルに音量で口の開き具合を制御 する方式にしました。
セリフがわかってると事前に解析できるんですが……どんなセリフが来るかわからないと解析がめんどくさいんですｗｗｗ

幸い、VOICEVOX から生成した WAV ファイルを解析すれば音量はわかるので、そのようにエルマーに実装してもらいました！

とはいえ音量データをそのまま口に適用するとカクカクするので、
Unity 側でスムージングは忘れずに！

これで、3D エルマーが 喋って、笑って、口パクする ようになりました！🎉

やったぜ！今夜はハンバーグだ！🍔

🔮 次回予告（Day 4）

試行錯誤しながら作っていたので、そろそろちゃんとモジュールに分割して一括管理するようにしないと……なのですが、それはともかく🤔
動画でも言ってるように、

AI館を作ってエルマーのラボを再現したい⚗️

んですよね……
「周りに何がある？」って聞いたら、エルマーが周囲の状況を答えられるとか、そういう実験です。
いろんな仕組みが想定できるんですが、じっくり考えてみたいと思います。

ヴェリのひとこと 🌙