空間コンピュータは人の知能を拡張する？

生成AIが「空間」を得ると！？visionOS27から考えてみた

空間コンピュータと聞くと、ヘッドマウントディスプレイを装着して、現実の部屋に仮想のウインドウや3Dオブジェクトを配置するもの、と捉えている人が多いと思います。
もちろん、それは空間コンピューティングの大きな特徴です。

Apple Vision Proを装着すれば、目の前に巨大なスクリーンを広げたり、3Dモデルを実物大で表示したり、自分のいる部屋を別の環境へ変えたりできます。しかし、WWDC26を見ていて、僕は「空間コンピュータとは何か」を、もう少し広く考えるようになりました。

空間コンピュータの本質は、仮想のものを現実空間に表示することだけではないのでは？　現実の空間そのものを認識し、そこに何があり、人が何をしようとしているのかを理解することにあるのではないか。

そう考えたとき、生成AIとの関係が見えてきます。

生成AIの一般利用は、ChatGPTの登場によって一気に広がりました。最初は言葉で質問し、言葉で答えを受け取るものでしたが、現在は画像や音声を扱うマルチモーダルへ、さらに複数のツールで処理を進めるAIエージェントへと進んでいます。
それでも、生成AIが知るユーザーの情報は、ユーザーが入力した言葉や画像、アプリから渡されたデータに限られます。

ユーザーが今いる場所に何があるのか。何を見ているのか。何を手に持っているのか。そこで何ができるのか。そして、その場で何をしようとしているのか。マルチモーダルになり、ユーザーの好みを学習し、さまざまな道具を操作できるようになっても、現在の空間と、その空間におけるユーザーの意図まで理解できるとは限りません。

もし生成AIが空間コンピュータと協働し、ユーザーが置かれている現実の状況まで理解できるようになったら、知能の拡張は言葉や画面の中から、現実の行動へと広がるのではないでしょうか。

そこで僕は、空間コンピュータを次のように考えました。

空間コンピュータとは、センサーによって現実空間を認識し、生成AIを含むインテリジェンスによってその状況を理解し、ユーザーの意図に応じて情報や作用を返すコンピュータ環境なのではないか。

大切なのは、仮想オブジェクトが見えることだけではありません。

そこに何があるのか。人がどこを見ているのか。何を手に持ち、そこで何ができるのか。何をしようとしているのか。コンピュータがそれらを認識し、状況に意味を与え、必要な支援を返す。そこまで含めて、空間コンピューティングと考えることができます。

そう考えると、空間コンピュータは、Apple Vision Proという一台の製品の中だけに存在するものではありません。

現実を認識するiPhoneやVision Pro、情報を理解する生成AI、コンテンツを制作するMac、計算を担うPCやクラウド、そして現実へ働きかけるアプリや道具。それらが協働するコンピュータ環境全体を、空間コンピュータと捉えることもできるのではないでしょうか。

この記事では、WWDC26のために準備し、整然と作られたセッション動画ではなく、開発者がAppleのエンジニアへ直接質問する「visionOSグループラボ」を見ながら、そのことを考えてみました。

完成された説明ではないから面白い

WWDCのセッション動画というと、新機能を順序よく紹介し、美しいデモを見せる完成されたデモ動画ですよね。一方、この記事で紹介するグループラボでは、実際に開発している人から、かなり具体的な質問が飛び出します。

Appleのエンジニアも、すべてに明快な解決策を答えられるわけではありません。「現在はできない」「Feedbackを送ってほしい」という回答もあります。

だからこそ、現在の空間コンピューティングが、どこまで実用になり、どこから先がまだ発展途上なのかが見えてきます。

Vision Proの技術がiPhone/iPadへ

グループラボで特に印象的だったのが、Object Trackingの進化です。

Object Trackingは、あらかじめ学習した現実の物体をカメラで認識し、その位置や向きを追い続ける技術です。visionOS 2の段階では、主にあまり動かない物体を、1秒間に約5回追跡する程度でした。

それがvisionOS 27では、高フレームレートモードによって最大30fpsで動作し、遅延も大きく減りました。追跡結果の平滑化や時間情報も改善され、電子部品を一切持たない物体でも、手にくっついているように感じられるレベルになったと説明されています。

これは、単に数字が5から30へ増えたという話ではありません。

机の上に置かれた物体の場所を確認する技術から、手に持って動かしている道具をリアルタイムに追い続ける技術へ変わったということです。
そして、さらに重要なのは、同じ学習済みモデルがiOS 27でも動くようになったことです。

Vision Proのために育てられてきた空間トラッキング技術が、iPhoneやiPadの開発者にも開かれます。

たとえば、工具や部品を認識して作業手順を案内する。スポーツ用品の位置や向きを記録する。教材や模型に情報を重ねる。視覚に障害のある人へ、目の前にある物の場所を知らせる。

こうしたアプリは、必ずしもVision Proを必要としません。

空間コンピューティングの技術は、すでにVision Proの外へ染み出し始めています。

現実の空間を持ち運ぶ

Gaussian Splattingについての質問もありました。

Gaussian Splattingは、たくさんの写真などから、現実の場所や物体を立体的に再現する手法です。一般的な3Dモデルは、頂点や面を組み合わせたメッシュとして物体を作ります。それに対してGaussian Splattingは、色や透明度、向きなどを持った小さな点の集まりとして、現実の見え方を再現します。

細かな仕組みを知らなくても、写真から作った現実の空間を、そのまま立体的に持ち運ぶ技術と考えればよいでしょう。

グループラボでは、Gaussian SplatのデータをOpenUSDのParticle Fieldとして扱い、通常の3Dメッシュと同じUSDのシーン内に置ける可能性が語られました。つまり、写真から作った現実の空間と、CGで作った建物やキャラクターを、同じシーンの中で扱えるようになるかもしれません。

ただし、USDZファイルにまとめれば、Webを含むすべての環境で同じように表示できる、という段階にはまだ到達していません。それでも、Vision Pro専用の閉じた形式ではなく、Macの制作ツールやWeb、ほかの3D環境との相互運用を目指していることは重要です。

空間コンピューティングが広がるためには、優れたデバイスだけでは足りません。現実から取り込んだ空間や、制作した3Dコンテンツを、異なるアプリやデバイスの間で受け渡せる共通の形式が必要です。

Gaussian SplattingとOpenUSDの関係は、これからの3Dコンテンツにおけるフォーマットの行方としても注目に値します。

AIは最新のvisionOSを知らない

もう一つ面白かったのが、Xcodeのエージェンティックコーディングについての質問です。

質問者は、AIにRealityViewを使ったvisionOSアプリを作らせようとしました。しかし、生成されたコードには誤った構文が含まれていました。
Apple側の回答は、ある意味で当然のものでした。

LLMは、前年までのAPIやコードを中心に学習している可能性があります。毎年更新される最新のSDKや、新しく追加された構文について、正しい知識を持っているとは限りません。

そこで紹介された対策が、AppleのサンプルプロジェクトをAIのコンテキストとして与えることでした。Hello World、Petite Asteroids、Canyon Crosshair、Model Manipulatorなど、現在のSDKで正しく動くコードを参照させます。

つまり、AIに詳しく命令するだけでなく、最新で正しいお手本を渡すことが重要になります。これはvisionOSだけの話ではありません。
新しいSwiftUI API、Foundation Models、App Intents、ベータ版のフレームワークなど、登場したばかりの技術では同じ問題が起こります。

最新のプラットフォームほど、AIに丸投げしてはいけない。

AIが参照すべき資料やサンプルコードを選ぶことも、これからの開発者の役割になります。AppleがXcode27で提供を始めたエージェントスキルの中では、既存のiOSアプリをvisionOSに適したサイズや情報密度へ変換するものが、特に実用的だとも紹介されていました。

これも、最初から壮大なイマーシブ体験を作るのではなく、既存のiPhoneやiPadアプリから空間コンピューティングへ入る道が用意されていることを示しています。

空間を見るのではなく、理解する

Vision ProのVisual Intelligenceについても質問がありました。

ユーザーが見ているものについてSiriに質問する機能は、サードパーティアプリがメインカメラへのアクセス権を取得しなくても、システム側で動作します。内部でカメラだけを使っているのか、深度センサーなども組み合わせているのかについて、Appleは詳しい説明を避けました。

重要なのは、個々のセンサーをアプリが直接操作することではありません。

システムが複数の情報を組み合わせ、ユーザーが今見ている状況に意味を与えることです。ここに、従来のARと、これからの空間コンピューティングの違いがあるように思います。現実空間の上に情報を表示するだけではなく、現実空間を理解し、その場にいる人の意図を支援する。そう考えると、空間コンピュータの本質は、HMDの形だけでは決まりません。

あなたにとっての空間コンピュータ

Apple Vision Proを所有している人は、まだ多くありません。しかし、Vision Proのために発展してきた技術は、iPhoneやiPadへ展開され、Macの制作環境やWeb、AIコーディングとも接続し始めています。空間コンピューティングに関係があるかどうかを、「Vision Proを持っているか」だけで分けることは、すでに難しくなっています。

空間を認識するiPhone。
コンテンツを制作するMac。
計算を担うPCやクラウド。
現実の物体を追跡するセンサー。
そして、空間を体験として提示するVision Pro。

それらが協働する環境全体を、空間コンピュータと捉えることもできるのではないでしょうか。生成AIは、言葉を通じて、人の知的作業を大きく拡張しました。さらに画像や音声を扱うマルチモーダルへ進み、AIエージェントとして複数の道具を使えるようになりつつあります。
それでも、ユーザーが今いる場所に何があり、何を見て、何を手に持ち、その場で何をしようとしているのかまで、生成AIだけで理解できるとは限りません。

空間コンピュータが現実を認識し、生成AIを含むインテリジェンスが、そこに意味を与える。その両者が協働したとき、コンピュータによる支援は、言葉や画面の中から、ユーザーが生きている現実の空間へ広がります。
それは、人の代わりに考えるコンピュータではありません。
人が見て、考え、判断し、行動する能力を、その場で支えるコンピュータです。

あなたが取り組んでいる分野では、どのような空間をコンピュータに認識してほしいでしょうか。その空間に何があり、そこで人が何をしようとしているのかを、どのように理解してほしいでしょうか。
そして、コンピュータには、どのような支援を返してほしいでしょうか。

Apple Vision Proを持っていなくても、空間コンピューティングについて考える理由は、そこにあります。

空間コンピュータは、人の知能を代替するものではなく、人が現実を理解し、行動する能力を拡張するコンピュータなのかもしれません。

MOSAいけだじゅんじ