WWDC26直前・緊急レポート：次のApple デバイスのVisionが見えた？！

冷蔵庫の中を見せるとレシピを提案するAIは、すでにあります。
でもそれは、最初から「料理」という目的が決まっているAIです。
ここで見えてくるVisionは、もう少し先にあります。
空間そのものを認識し、そこにある物の配置、関係、使い道から、ユーザーがその場所で何をできるのかを推理するAIです。
もちろん、プライバシーは守られるでしょう。

ここでいう推理とは、AIが勝手に作るフィクション（妄想・ハルシネーション）ではありません。空間にある物と、その使い道と、ユーザーの目的がつながったときに立ち上がる“行動の筋道としての推理”です。

この緊急レポートは5月に公開された次の研究から刺激を受けました。
あくまで研究レポートですが、WWDC26直前の今だからこそ、ここから「次のAppleデバイスのVision」を少し大胆に推理してみたいと思います。
当たるか外れるかではなく、生成AIによって空間コンピューティングがどう変わっていくのか。その想像を一緒に楽しみましょう。

タイトルの、
From Where Things Are to What They’re For
は、かなり象徴的です。直訳すると、
「物がどこにあるか」から「それが何のためにあるか」へ
という意味です。つまり、AIに求める空間理解を、

「位置の理解」から『意味と使い道の理解』
へ広げようとしている研究です。

Appleでは、この研究を2026年5月公開のComputer Vision系の論文として紹介しており、SFI-Benchという新しいベンチマークを提案しています。SFI-Benchは、一人称視点の屋内動画スキャンから作られた1700問以上の質問を使い、マルチモーダルLLMの空間・機能理解を評価するものです。

これまでのAIの空間理解は「ドキュメンタリー」に近かった

従来の空間理解は、どちらかというとドキュメンタリー的です。
たとえば、部屋の映像をAIに見せて、
「机があります」
「椅子があります」
「マグカップは棚の上にあります」
「冷蔵庫はキッチンの奥にあります」
と答えられるかを見ます。

これらはもちろん重要です。
空間コンピューティングでも、ロボットでも、ARでも、まずは「何がどこにあるか」が分からなければ何もできません。でも、これだけではまだ、空間を本当に理解しているとは言いにくい。
なぜなら、人間は部屋を見たとき、単に物の位置を記録しているだけではないからです。
人間は同時に、
「この机では作業できそう」
「この椅子は座るためのもの」
「この布は水を拭くのに使えそう」
「この棚の上の箱は、今すぐ取るには少し危ない」
「この配置なら、先に椅子をどかした方が動きやすい」
というように、空間の中の行動の可能性を読んでいます。

この研究は「推理小説を読む探偵」に近い

ここで、先ほどの比喩が効いてきます。
この研究が目指しているAIは、単に映像を説明するドキュメンタリーのナレーターではありません。むしろ、推理小説に登場する探偵に近いのでは？
探偵は、
「灰皿がある」
「窓が開いている」
「椅子が少し動いている」
という事実をただ並べるだけではありません。
そこから、
「誰かがここに座っていたのではないか」
「窓から出入りした可能性がある」
「この物は偶然ここにあるのではなく、何かに使われたのではないか」
と推理します。この研究も同じです。

AIに求めているのは、
物体の一覧を作る能力
ではなく、
物体・位置・用途・状況を結びつけて考える能力
です。たとえば、キッチンの映像を見て、
「コーヒーを淹れるには何を使う？」
「水をこぼしたら何で拭ける？」
「この部屋で読書するなら、どの場所がよさそう？」
「この作業に必要な道具はどこにありそう？」
のような問いに答えられるかを見るわけです。

SFI-Benchとは何か

この研究で提案されている SFI-Bench は、AIのためのテスト問題集のようなものです。正式には、
Spatial-Functional Intelligence Benchmark
です。日本語にすると、
空間・機能知能ベンチマーク
でしょうか。
ここでの「機能」は、物体の機能です。
「椅子は座るため。」
「コップは飲み物を入れるため。」
「布巾は拭くため。」
「踏み台は高い場所の物を取るため。」
「ライトは暗い場所を照らすため。」

ただし、人間にとっては当たり前でも、AIにとっては難しい。
なぜなら、AIは映像の中で見えている物を認識するだけでなく、その物が
いまの状況でどう役立つか
まで推論しなければならないからです。

Appleでは、SFI-Benchは大きく2つの能力を評価します。
ひとつは複雑なレイアウトを理解し、まとまりのある空間表現を作る
Structured Spatial Reasoning

もうひとつは、物体の affordance、つまり「何に使えるか」や、状況に応じた utility、つまり「どう役立つか」を推論する
Functional Reasoning

2つの評価軸をやさしく言うと

1. Structured Spatial Reasoning

これは、空間を頭の中で組み立てる力です。
たとえば、部屋の動画を見ながら、
「冷蔵庫の右に何があるか」
「机の手前に椅子はいくつあるか」
「棚の上段にある赤い箱の近くに何があるか」
「最初に見えたドアと、あとで見えたソファはどの位置関係にあるか」
のようなことを理解する力です。
ただの画像認識では足りません。
動画なので、AIは時間をまたいで記憶しなければいけません。
人間で言えば、部屋を歩き回りながら、
「さっき右側に棚があった」
「その棚の下に箱があった」
「いま見えているテーブルは、入口から見て奥側にある」
と、頭の中に簡単な地図を作るような能力です。

2. Functional Reasoning

これは、物が何の役に立つかを考える力です。
たとえば、
「高い棚の物を取りたい。何を使えるか」
「床に水をこぼした。近くで使えそうなものは何か」
「料理をするなら、どの道具を組み合わせるべきか」
「読書に向いている場所はどこか」
のような問いに答える力です。
ここでは、単に「物が見えている」だけでは不十分です。

AIは、
「これは椅子だ」
「椅子は座れる」
「この椅子は机の近くにある」
「だから作業場所として使えるかもしれない」
というように、見た情報と一般知識を結びつける必要があります。

なぜ現在のAIには難しいのか

この研究の重要な指摘は、現在のマルチモーダルLLMが、まだこの統合を苦手としていることです。Appleによると現在のMLLMは、空間記憶と、物体の機能理解、さらに外部知識を統合することに一貫して苦戦しているとしています。
これはかなり重要です。

たとえば、AIが画像を1枚だけ見て、
「これは椅子です」
「これは机です」
「これは棚です」
と答えることは、かなり得意になってきています。

でも、動画で部屋を見回したあとに、
「さっき見えた棚の近くに、掃除に使えそうなものはありましたか？」
「この部屋でオンライン会議をするなら、どこに座るのがよさそうですか？」
「この空間で転倒リスクがありそうな場所はどこですか？」
と聞かれると、一気に難しくなります。

理由は、複数の能力を同時に使う必要があるからです。
まず、見えているものを認識する。
次に、それがどこにあったかを覚える。
さらに、それが何に使えるかを知っている。
そのうえで、ユーザーの目的に合わせて組み合わせる。
これは、単なる画像認識ではなく、空間内での実用的な推論です。

空間コンピュータとの関係

ここが、Apple Vision Proや将来のARグラスの文脈で重要になります。
空間コンピュータというと、つい、
「3Dウィンドウが空間に浮かぶ」
「没入感のある映像が見られる」
「現実空間にCGを重ねられる」
という方向で考えがちです。もちろんそれも重要です。でも、この研究が示している方向は少し違います。

中心にあるのは、
空間をリアルに再現すること
ではなく、
空間の意味を理解すること
です。
たとえばVision ProやARグラスが、部屋を見て、
「そこに本があります」
と言うだけなら、まだ弱い。

本当に役立つには、
「その本を読むなら、そこの椅子とライトを使うとよさそうです」
「机の上が散らかっているので、作業するなら左側を片付けるとよさそうです」
「その箱は高い位置にあるので、近くの踏み台を使った方が安全です」
と言える必要があります。

つまり、空間コンピュータが本当に賢くなるには、現実空間を“座標の集合”ではなく、“行動の可能性がある場所”として理解する必要があるということです。

没入感よりARグラス向き、という見方

このVisionからの次が考えらます。
イマーシブである必然性は低い
没入感の必要性は低い・ない
ARとの座標精度が低くても実用的な情報提供ができる
したがってARグラスへの適性が高い

これはかなり妥当だと思っています。この研究が扱っている価値は、必ずしも「完全に没入した仮想空間」の中で発揮されるものではないからです。
むしろ、日常の現実空間で、
「どれを使えばいい？」
「どこにある？」
「何が危ない？」
「次に何をすればいい？」
に答える方が自然です。
その場合、必要なのはVision Proのような没入感ではありません。
たとえばARグラスで、
「右の棚の中段です」
「青い箱の隣です」
「それではなく、奥の白い布です」
「この段差に注意してください」
と音声や軽い表示で教えてくれれば、それだけで役に立ちます。

ミリ単位でCGを貼り付ける必要がない場面も多いです。
もちろん、精密作業では高精度なAR表示が必要です。
たとえば、ネジ穴に工具を合わせる、医療行為を補助する、工場設備を正確に操作する、といった用途では、ズレは許されません。
でも、生活支援、探索、説明、アクセシビリティ、軽作業支援なら、だいたいの方向、だいたいの場所、だいたいの対象でも十分に価値があります。

その意味で、この研究はVision Proの「没入型空間コンピュータ」よりも、近い将来のVision Glass的な「現実空間アシスタント」に強く関係しそうです。

オンデバイス研究ではないがApple文脈では重要

もうひとつ整理しておくと、この研究そのものは、オンデバイスAIを実装する研究ではありません。
つまり、
「iPhone上でこのモデルを動かしました」
「Vision Pro上でリアルタイム処理しました」
「小型モデルに圧縮しました」
という研究ではありません。

あくまで、AIの能力をどう測るかの指標です。
ただし、Appleにとってこの評価軸は重要です。
なぜなら、将来のApple Intelligence、Vision Pro、ARグラス、アクセシビリティ支援、家庭内支援、ロボティクス的な応用を考えると、AIは単に言葉や画像を扱うだけでは足りないからです。

現実空間の中で、
「見えているもの」
「過去に見たもの」
「それぞれの位置関係」
「それぞれの用途」
「ユーザーの目的」
を統合する必要があります。
SFI-Benchは、その力を測るための試験だと言えます。

たとえるなら

この研究は、AIに部屋の映像を見せて、
「何が見えますか？」
と聞く段階から、
「この部屋で、何ができますか？」
「困ったとき、何を使えますか？」
「目的を達成するには、どれとどれを組み合わせればいいですか？」
と聞く段階へ進めるものです。
つまり評価軸を
見るAI
から、
使い道を考えるAI
へと進めます。もう少し短く言えば、
空間を“背景”として見るAIではなく、
空間を“使える環境”として読むAIを育てるための研究
です。

Apple MachineLearningの文脈で見ると

Apple Machine Learning、Apple Intelligence、Vision Pro、ARグラス、AIエージェントの文脈では、この研究はかなり示唆的です。これまでの空間コンピューティングは、どうしても、
「空間に表示する」
「空間に配置する」
「空間に没入する」
というUI/UX寄りの話になりがちでした。でも、この研究はその前提を少し変えます。
これから重要になるのは、
空間に何を表示するか
だけでなく、
AIがその空間をどう理解し、ユーザーの目的にどう結びつけるか
です。
つまり、空間コンピュータの価値は、単に「画面が広い」「3Dで見える」「没入できる」だけではなくなります。
むしろ、Appleは、空間コンピュータで、
現実空間を見て、意味を読み、ユーザーの行動を支援すること
を目指しているのでしょう。
その意味で、この論文は、
Spatial Computing + Multimodal LLM + Agentic AI
の交差点にある研究です。

最終的にAppleが目指しているのは、空間を「座標の集合」として処理するAIではなく、空間を「行動の可能性がある場所」として読むAIです。

「物がどこにあるか」
から
「それが何のためにあるか」
へ
このタイトルが示す方向は、Vision ProでもARグラスでも、Appleが作ろうとしているものの本質を一行で表しています。WWDC26で何が発表されるか。この論文と照合する楽しみを持っておきましょう。

MOSA いけだじゅんじ