デスクトップ・チャットマスコットの今後について

Googleカレンダー/Tasksと連携したリマインダー機能も実装したので、あとはモーション周りの実装と細かい不具合の調整で、この「デスクトップ・チャットマスコット」は一旦完成にしたいと思います。

今後の計画

ただし、「デスクトップ・チャットマスコット」の完成は「UI部分の完成」にすぎず、今後の実装計画はこれからはじまります。

2025年の実験で蓄積してきたノウハウやコードを元に、機能を充実させていきます。

アバターのモーション

アバターのモーションは、Unityで作成しているアバターの生活シミュレーションで使っているモーションデータを VRMA形式に変換して使おうと思っています。

僕が考える理想的な「AIアシスタントの応対」

まずは、こういう応対ができることを目指しています。

この応対に必要な機能は3つあるかなと思いました。

1.天気、気温（外気、室内）の取得

「OpenWeather API」からの天気、外気の温湿度、気圧情報の取得、
「Switchbot API」からの室内の温湿度を取得してAIで分析させるモジュールは既に作ってあるから、この機能は問題なし

2.スケジュールやタスクの取得

これはGoogleカレンダー/Tasksと連携したデスクトップマスコットのv1.3で既に実装済み

3.外出時の訪問ルートを作成

これは Gemini 3では普通にできています。
訪問先と出発地を伝えると、
・訪問先の住所と移動経路を調べて、
・予定時間に巡回できるようにルート作成と
・それに間に合うための電車の時刻検索まで、
勝手にやってくれます。

必要な機能はこんな感じ

• 目的地の住所確認

• 移動経路の調査

• 巡回ルートの作成

• 関連する公共交通機関の時刻検索

これをローカルLLMで実現できるか、または Gemini-APIで対応してもらうか、必要なサービスは何かを調べる必要はあるから、
これは今後の検証対象と考えています。
（その後の調査と検証で、Gemini APIのGroundingを使って経路探索が可能なことを確認済み）

その他の機能

インターネット検索、音声合成（TTS）、簡単な計算やプログラム作成による情報処理は、VRMチャットアプリで実装済みなので、この辺りも簡単に取り込めます。

※サンドボックス機能（簡単な計算やプログラム作成による情報処理）の実装版は未公開

あと「ユーザーが机の前に座った」とか「しぐさ（手を振っている）」を認識する姿勢認識、「僕の顔の特徴や表情（笑っている、眼鏡をかけている、髭を生やしている）」などの画像認識は、卓上マスコットで実装しているから、このコードも流用できます。

AIの思考・記憶について

先日のDBを利用して「自律的に記憶を拡張」の実験結果を元にして、記憶管理をアレンジできそうかなと考えています。

思考については、まだ継続している「ペルソナ維持」の実験結果が使えそうです。

様々な情報を元に「推論型LLM」に応対方針を考えさせて、それをデスクトップマスコットのLLMに渡すことで、事務的にならない「肌触りの良い」表現になりそうだと思っています。

ちなみに、推論モデルのローカルLLM（Qwen3:32B）に以下の情報を与えて「おはよう」とメッセージを送ってみました。

• 今日は 2026/1/6

• ユーザーの今日の予定は「10時から病院で内科診察」、「時間は決まっていないが銀行での振込みをする

• 今日の天気は曇り、降水確率は高い、気温は最高が2度、最低が-2度

• 最寄りの駅から目的地の病院までは15分程度かかる。電車は平常通りに運行中。

返されたメッセージには以下の内容が含まれていて、なかなか良い提案をしてくれていると思いました。
あとはユーザー好みのトーンを調整する感じでしょうか。

「気温が低いので、防寒対策（厚手の靴下や手袋）を」「雨だから折り畳み傘を」
→事実（気温）と行動（防寒）を結びつけている。特に「厚手の靴下」という具体的なアイテムまで言及しているのは、「ユーザーの体感」 まで考えている思われる。

「診察後に時間が空くようなら、そのタイミングで（銀行を）進めるのも良さそうです」
→事前情報は「銀行に行く時間は決まっていない」としか伝えていない。しかしAIは「病院（固定時間）の後に、銀行（流動時間）を組み込むと効率が良い」 というスケジューリングを勝手に（自律的に）提案している。

「電車が通常通りとはいえ、寒さや雨で混雑する可能性に備えて10分前くらいには……」
→「電車は通常通り」という情報が与えられているのに、「雨＝混雑や足元の悪さ＝遅延リスク」 という行間を読んで、早めの行動を促している。

推論工程でも「It might be safer to do it during a less rainy time. （雨が少ない時間にやったほうが安全かも）」というように、
「天候リスクとタスクのタイミングを天秤にかけている」というプロセスが見えました。
最終的な出力では「診察後」という提案に落ち着いたようです。

そしてAIアシスタントはインタラクティブへ

次は、これらの個々の機能をまとめるための「オーケストレーターAI」の作成に取り掛かる予定

「受動的」から「能動的」へ、そして「タスクの自動実行」から「目的の自律遂行」へ

そして、今回のデスクトップマスコットの最も大きな機能は「自律的にイベントをこなせる」ことだと思っています。

現状では1分毎に Google カレンダーをチェックしてイベントがあれば通知する仕組みになっているけど、
これをマスコット内のタスクスケジューラーを持つことで、様々な情報から自主的にタスクを作成し、時間になったら実行するという動きができるはず。

• 今までのデスクトップマスコット：「ユーザーが登録したタスク」をスケジューラーで管理して自動的に実行する

• 現状のチャットボット：「ユーザーの指示がトリガー」となって、連携したAPI等から様々な情報を収集してユーザーの依頼に応対する。

• AIと連携したデスクトップマスコット：連携したAPI等から様々な情報を収集して「自主的にタスクを作成」し、スケジューラーで管理して自律的に実行する（一種のAIエージェント）

AIパートナーをただの「おしゃべりチャットボット」に留めるか、
「頼れるAIアシスタント」へと押し上げられるか…？

2025年は「AIで何ができるか」を評価した１年だったけど、
2026年は「それをどう活用するか」の検証の１年になりそう😊