VRChatの中を立体視中継する仕組みを作った話

4月19日に開催されたイベント「LODGE XR Talk & メタのみ」にて
VRChat内をLookig Glassで立体視中継できる
「Portable Portal（真）」を展示してまいりました💪

以前は「Portable Portal（仮）」という名前で
VRM一体を遠隔操作してリアルタイムに「リアルとバーチャルで相互に」お喋りできるものを展示してたのですが（詳しくは以下）

「折角ですから、VRChatの中をそのまま立体表示させたいよねーっ」って思いつきでアップデートいたしました。

どういう体験ができるの？

ざっくりこんな感じです。動画だと立体視が伝わらないのが惜しいですが💦

Looking Glass Portraitという、7.9インチのホログラフディスプレイがありまして、これの何が凄いかというと
・3D眼鏡とかゴーグルとか付けなくても立体に見える
・複数人が同時に立体視を見られる（実はこれ凄いこと）

ただ裸眼でモニターを見るだけなのに、そこに映されたものを
「つまめちゃうんじゃないか？？」なんて錯覚が出来るほど立体なんです

ここにVRChatの中を映し出せたら……それだけで夢が膨らみませんか？✨️
今回は、この体験の作り方を共有しておきます。

Looking Glassの仕組みをざっくり

まず、Looking Glassの仕組みについてざっくり簡単に説明すると

「いろんな視点から撮影した画像を、レンチキュラーレンズ（3Dホログラムカードとかで使われる特殊なディスプレイ）で、写せば立体にみえるでしょ」って発想のディスプレイです。

カードを傾けるとちょっとずつ絵が変わるカードとかあるじゃないですか。
原理的にはあれと一緒です。要は、角度に合わせた映像をそれぞれ指定でき、それらを工夫すれば飛び出して見えるやーつです。ホログラムカードは数パターンから10パターンほどの画像を埋め込めることが多いですが
Looking Glass Portraitは最大48パターンを埋め込めます。

こうした複数視点の映像を同時に1枚の画像で表現します。
色んな視点の画像を並べて1枚にしちゃうものを「キルト」と言います。

つまり、VRChat内に複数パターンの様々な視点からの映像をなんとかしてキルト画像にして、Looking Glassに送り込むことができれば実現するわけでございます。

カメラをいっぱい仕込んだアバターでいけるんじゃない？→いけた

で、VRChatの中を立体視したい！の解決策としては
このキルト画像をリアルタイムに生成できて、Looking Glassに送り込めればいいわけです。

ざっくりした仕組みとしては
「カメラを複数台もったアバターで、キルトをリアルタイム生成して、Spoutで飛ばす」というものにしました

で、できたのがこんなアバターです

仕組みとしては、24台のカメラをちょっとずつ横にずらして
その映像を1枚のレンダーテクスチャに書き込むはたらきをしています。

オフセット計算などについては、公式に参考コードがありましたので
これを元に調整いたしました

レンダーテクスチャの内容は、上の画像左下のキューブの中にVRChatのカメラを入れることで視界ジャックされ、カメラの中身がキルトになります。
で、そのキルト映像をVRChatのStreamカメラでSpoutを使って外部に飛ばします。

アバターとは別に、Looking Glass投影用のアプリを作り
VRChatからSpoutで受け取った映像をLooking Glass SDKでそのままLooking Glassに投影。こちらは本当に単純なしくみです。

また、VRChat内の他のユーザーが自分の写りを確認できるよう
鏡となるものを配置しています。
こうすることで、VRChat内の人は自分の写りを確認しながらパフォーマンスできます。
また、会場側ではLooking Glass PortraitにWebカメラを仕込んでDiscordのビデオ通話を流してますので、相互に顔を見ながらおしゃべりできる……といった体験になってます。

負荷はすごい

このように、カメラを複数台同時起動しますので
負荷は結構凄いです🔥

本来Looking Glass Portlaitは48枚構成のキルトに対応しているのですが
流石に展示会に持っていける範囲のPCではそこまでやると負荷が半端ないので、半分に間引いた24枚のキルト画像で運用しました。

立体視点のスムーズさでいうと、流石に下がってしまうのですが
立体感と生ライブ感は変わらないので、このあたりは運用可能な範囲で試行錯誤いたしました。意外といける✨️

体験として

めちゃめちゃ好評でした🙏ありがとうございます🙏

以前の「Portable Portal（仮）」と比較して
VRChatの中をそのまま写せるので
・VRMを共有する必要がない
・複数人も設定無しでいける

つまり、VRChatで活動されている芸人夫婦の夫婦漫才も立体視できたり
ギミックのエフェクトなんかもそのまま立体視できちゃうということ

また、Portable Portal（仮）と同じく、VRChat側からリアルな視点変換（テーブル回転）が出来るので、VR側からリアル側を色んな角度で見られるといった機能も健在です💪

最後になってしまいましたが、今回VRChat側でご協力いただきましたみなさまはこちら✨️🙏

LODGE XR Talk
13時～14時　黒崎こぎんさん
14時～15時　しいなさん
15時～16時　八坂まとさん
16時～17時半　黒崎こぎんさん

メタのみ
18時～19時　TOCORO十さん
19時～20時 華月エアリさん
20時～21時　黒崎こぎんさん＆地蔵めたびさん

また展示するときはTwitterでお知らせいたしますので、要チェック～💪