デスクトップマスコットに「視覚」を与えてみた
デスクトップマスコット本体には大きな改修をせずに、
「拡張機能管理」の仕組みを実装して、様々な機能を追加できるようにしてみました。
第１弾として「視覚」（PCカメラを使った画像認識機能）を追加しました
ユーザーの在席状態の監視
PC内蔵のカメラを使ってユーザーの在席を確認します。
カメラの前に人を検出できたら「在席」と判断
人が検出できない状態がしきい値（10分等）を経過したら「不在」と判断し、アバターは「寝る」モーションに移行
不在モード中にユーザーがPCの前に戻り、人を検出できたら「在席」に戻し、「おかえり！」とメッセージを返す
「おかえり」とメッセージを返します。
ユーザーの仕草に応じた反応
PC内蔵のカメラでフレーム差分による動き監視を行い、大きな動き（肩・腕レベル）を検知した場合にのみAIにカメラ画像を送って分析します。
テストでは以下の検出を試しました：
ユーザーが手を振る → AIが「呼びかけ」と判断し、「なに？呼んだ？」のようなメッセージを返します。
コーヒーカップを持って飲む仕草をする → AIがカメラ映像からユーザーの状況を分析し、それに応じたメッセージを返します。
大きな動きがなければ、フレーム差分監視に戻ります。
とりあえず、リアルタイムで自律的に視覚での状況判断ができるようになったので、引き続き認識シナリオを調整してみます。
※以降の拡張機能管理で検証・実装した機能は、PC等の実行環境に大きく依存するため、コード公開は難しいかなと思っています。
