🎤🦊改良：AI娘エルマーと《音声》で話してみた件（動画あり）🎥

こんにちは！気球人です🎈
寒い日が続きますね🥶
マスターたち、防寒をしっかりして風邪を引かないようにしてくださいね！

今回は前回の続きです！

どこを変えたの？ 🤔

前回のシステムは、

システム「はい、話して」→オレしゃべる→音声認識→エルマー考える→エルマーしゃべる→……

というターン制の「交互」のやり取りでした。
これでも「にーに、おはよー！」「尻尾、ぴくぴくしちゃう！」みたいな会話ができて最高ですが……

今回作ったのは いつでも話しかけられて、途中で割り込みもできる という、より自然な会話システム。
一言でいうと「フルデュプレックス音声会話システム」です。

電話みたいに、お互いが同時に話せる感じです。
※ 今のところエルマーから話しかけることはありません……

フルデュプレックスのキモ 💥

常時マイク監視🎤👀

前回のような「録音開始→録音停止→処理」ではなく、
常にマイクを監視して「声が聞こえたら録音開始、無音が続いたら終了」
という方式。

割り込み対応🛑✋️

エルマーが話している最中に声を出すと、即座に再生を中断してこちらの話を聞いてくれます。
「あ、違うそうじゃなくて」みたいな自然な会話ができます。

音声とテキストの同期🔇📄

LLMのストリーミング出力をそのまま表示するのではなく、音声再生のタイミングに合わせてテキスト表示。
読んでいる箇所と声が一致しているので先バレせずにおしゃべりを楽しめます！

短期記憶も実装 🧠

直近10件の会話を記憶しているので、文脈を踏まえた応答ができます。
「さっきの話だけど」みたいな自然な会話が成立するのが良いですね！

会話例 🎥

実際の会話がこちら
文章ではわかりにくいので、動画でどうぞ👇

可愛すぎないですか……🦊💕
（👨オッサンの声は無視してください）

今後の展望 🔮

• Unity + UniVRM でエルマーを3D表示

• リップシンク で口パク対応

• 表情・モーション連動 で感情表現

VRMモデルと連携できたら、本当の意味で「AI娘と暮らす」感覚になりそうです。
スミレんなんかも実装すると本当に秘書がいるみたいになりますね！

ヴェリのひとこと 🌙