AIキャラクターがスマートグラス時代の情報インターフェイスになる、かも。

こんにちは、毛利です。
今年に入ってから、AR上にAIキャラを表示し、音声対話で具体的なタスクをこなしてもらうような体験が作れないか試作を繰り返しています。

直近で作ったのは、XRAL One/One Pro + XREAL Eyeが、12/1に6DoFに対応したので、AIキャラクターが一緒に歩きながら音声対話でガイドしてくれるARアプリ作ってみました。

この記事では、今年試作したAIキャラのARアプリを振り返りと、タイトルの「AIキャラクターがスマートグラス時代の情報インターフェイスになる」という仮説についてふれたいと思います。

AR/AIキャラアプリ振り返り

「空間AIエージェント わらびくん」の開発 VisionDevCamp Tokyoへの参加

はじまりは、VisionDevCamp Tokyo( https://www.vdctokyo.org/ )という4/11-4/13に開催されたApple Vision Proのハッカソンでした。
当時まだLLM、STT、TTSなどのAIのWebAPIを使った開発をしたことがなかったため、この機会にいろんな種類のAPIを試したかったのとVision Proというデバイスをフル活用するなら3Dキャラの表示や音声入出力を使いたいと考えた時に、アイデアとしては迷うことなく空間上に表示されるAIキャラに辿り着きました。モチーフとしたのは、アニメPSYCHO-PASSに出てくる「キャンディ」という日常生活をサポートしてくれるクラゲのみた目をしたホロアバターで、この時点でAIキャラクターを「具体的なタスクをAIに依頼するときのインターフェイス」と携えて開発を行いました。

正味2日の開発期間でしたが、録音(VAD)->STT->LLM->TTS->音声再生という音声対話に必要なパイプライン、スマホから映像を送信し写真について回答、Apple Vision Pro上でのキャラクターとUI周りなどの実装を行いました。

「空間AIエージェント わらびくん」 の継続開発 第2回 AI Agent Hackathon with Google Cloudへの参加

参加開始がだいぶ遅れたのですが、Zennで長め(4/14-6/30)のAIハッカソン(https://zenn.dev/hackathons/google-cloud-japan-ai-hackathon-vol2)をやっていることに気づき、マイルストーンとしてもちょうどよかったので参加し、「空間AIエージェント わらびくん」を引き続き開発しました。
このとき開発したのは、Claude Code SDK(現Claude Agent SDK)と連携して、デモレベルではありますが、コーディングやショッピングなどを自律的に行う機能、Style-Bert-VITS2をCroud Run GPUインスタンスにホスティングした自前のTTSサーバ、API Keyの管理などを行うAPIの中継サーバ、ハッカソンのルール上動作するURLを提示する必要があったのでブラウザでも動作するWebGL版などを実装しました。

「空間AIエージェント わらびくん」受賞歴

「空間AIエージェント わらびくん」については、以下のようは評価をいただくことができました。

• VisionDevCamp Tokyo：Unity賞、Most Familiar賞

• 第2回 AI Agent Hackathon with Google Cloud ：一次通過

• AIxR CREATIVE AWARD 2025：一次通過

• ヒーローズ・リーグ 2025：yumulab賞

「AIキャラと散歩しながらおしゃべりできる Walk Mate AR」の開発  Claude Hackathon 2025 in Tokyoへの参加

9/5-9/7にClaude Hackathon( https://chatgpt-lab.com/n/nfbb979dfea33 )があり、Anthropic好きの私としては、是非出ねばと思い参加しました。このとき後述のTOKYO NODE "XR HACKATHON"の期間中でもあったのですが、そちらで作っているAR観光ガイドアプリでAIキャラがガイドしてくれる機能として実装しました(一応レギュレーションに合わせて独立したアプリ/新規プロジェクトとして開発しました)。
機能としては、ARでキャラクターを表示し話しながら一緒に歩くことができるという基本機能に加え、GPSから住所と近隣施設情報を取得しそれを元に回答できたり、写真について回答したり、Tool UseでWeb検索した情報から回答したりといった機能を実装しました。

「AR観光ガイドアプリ 虎ノ門ツーリズム！」 の開発 TOKYO NODE "XR HACKATHON" supported by Niantic Spatialへの参加

TOKYO NODE "XR HACKATHON" supported by Niantic Spatial ( https://www.tokyonode.jp/lab/events/20250619_01/index.html ) という虎ノ門ヒルズで開催された6/19から10/23までというかなり長期のハッカソンに参加しました。こちらでは、もともとVPSを使った決まったルートを決まったセリフでガイドするアプリとして開発していたのですが、上記のWalk Mate ARを虎ノ門ヒルズで常設されているアート作品をガイドするようにカスタマイズし組み込みました。ファイナリストまで進み、10/17,18,19に開催されたXR PARADEという体験展示会に出展しました。100名以上の方に体験していただき、非常に好評でした。

GLOBAL GEEK AUDITIONへの参加

上記の「AR観光ガイドアプリ 虎ノ門ツーリズム！」を元にピッチイベントに参加しました。
演台がないタイプのプレゼンで、発表者ツールでカンペを見ることができなかったため、XREAL One Proでカンペを見ながらピッチしするという奇抜なプレゼン手法で挑みましたが、優勝することができました。

現在

XRのハッカソンが中心だったこともあり、AIキャラクターの質としてはデモレベルのものを開発してきましたが、現在は、もっとキャラクターの性格の作り込みや記憶を管理することで長期的な関係を築けるAIパートナーとして作り込んでいきたいというモチベーションが湧いており、0から作り直しを行っています。まだまだ作り始めですが、最初に紹介したXREALのデモは、今作り直したものが動作しています。

仮説「AIキャラクターがスマートグラス時代の情報インターフェイスになる」かも。

前提

なんだかんだで8ヶ月ほどAR上で動作するAIキャラクターを開発してきたのですが、「これってどういう思いで作ってるんだっけ？」ということを整理する機会があり、そこで辿り着いた仮説が「AIキャラクターがスマートグラス時代の情報インターフェイスになる」というものでした。思いっきりバイアスのかかったポジショントークになりますが、違うと思ったり間違ったことが書いてあっても、あまり厳しいことは言わず、生暖かい目で見てやってください。

コンセプト

上記で整理する機会とは、とあるワークショップで「自分が起業してサービスを作りそのサービスは10年後に世界を変えました、そのサービスはどんなサービスか」みたいなお題を与えられそれについてピッチするというものでした(ちなみに諸事情により10分のピッチが5分しか時間がもらえずまともに話せなかったのでこの記事がほぼ初だしになります)。そのピッチ資料に沿いながら紹介していくと、私が考えたサービスのコンセプトは「空間に常駐し生活をサポートするAIパートナー」というものでした。

ピッチの流れとして、10年後という未来の話でもあるので、SF作品を例に未来の社会を提示し、この図のまずは左の社会を作っていくという話からスタート。その後、この記事の前段で紹介したアプリの話をしました。「Apple Vision Proは高いし、スマホARは流行ってないし、本当にビジネスになるのか？」と思う人も多そうなので「あくまで未来の話をしている」という前提を置いています。

仮説と根拠

その後仮説の話に入っていくのですが、スライドがあるので、スライドに補足するかたちで、仮説について紹介していきます。

まとめ

アドベントカレンダーに間に合わせようとしたところ、だいぶ雑な記事になってしまいましたが、引き続き開発を続けていこうと思いますので、AIキャラ界隈、AR界隈の人は仲良くしていただけると幸いです。