ミュンヘンからオックスフォードへ： 研究留学が拓く12年後の連携プロジェクト | JST ASPIRE採択報告

はじめに

産業技術総合研究所（産総研; AIST）人工知能研究センター 片岡裕雄（Hirokatsu Kataoka）です。2024年9月から英国・オックスフォード大学 Visual Geometry Group (Oxford VGG) [Link] に学術訪問員（Academic Visitor）として長期滞在しております。今回、ドイツ人工知能研究センター (DFKI) に在籍する竹崎隼平さんからのお誘いで「研究留学アドベントカレンダー2025」に寄稿させて頂く運びになりました。当記事は、JST ASPIRE [Link] 「課題名：限定資源下におけるマルチモーダルAI基盤モデル構築 [Link]」の採択報告としても執筆しております。私のドイツ留学経験から現在の英国在外研究（オックスフォード大学研究記 [Link] 参照）や国際連携に繋げ、プロジェクトとして採択されるまでの記事として見ていただけたら幸いです。

さて、本稿のメインテーマは「ドイツの研究機関に関連する留学経験」です。もしそうでなかったとしても、勝手にそう解釈して記事執筆しようと思います。せっかくの機会なので、現在2025年から遡ること11, 12年前に留学したミュンヘン工科大学 (TUM) での経験や人脈が、現在のオックスフォード大学での活動にどのように繋がっているかを振り返ってみます。2013年当時、私は慶應義塾大学の博士課程に在籍するひとりの学生でしたが、今では日英独蘭4か国の国際連携研究プロジェクトを主導する研究者となりました。博士課程学生から12年の時を経ていわゆるPI的役割を担ってチームを率いる立場へと至る中で、国や大学、研究機関の違いによる研究環境の差異も実感してきました。本記事では、ドイツ（TUM）、日本（AIST）や英国（University of Oxford）での滞在経験を軸に、その過程や環境の違いから得られた学びについてお話しします。

さらに、2025年12月からプロジェクト開始された私が代表を担当する JST の「次世代のための ASPIRE」プログラムで採択された国際共同プロジェクトについてもご紹介します。このプロジェクトでは、日本の若手研究者・大学院生を英独蘭（※目下、連携機関は拡大中です！）の研究者と結ぶ研究コミュニティ「LIMIT.Lab [Link]」を立ち上げ、データや計算リソースなど限定された資源下でのマルチモーダルAI基盤モデルやフィジカルAI、AIの視覚機能改善、といった研究に挑戦しています。

したがって、この記事は現在大学生・大学院生・研究者（もしかすると高校生？や既に研究室主宰の研究者？）である読者やプロジェクトメンバーが10〜20年後に国際連携の主導、分野の最前線にいくためのきっかけに、という思いも込めて執筆します。今の生活やお仕事の連続からは切り離し、未来に思いを馳せながら読んでもらえたら嬉しいです。

ミュンヘン工科大学 CAMP で過ごした短い日々と、オックスフォード大学 VGG への繋がり

私がドイツで研究に従事したのは、2013年から2014年にかけて２回（2013年7〜9月、2014年9〜11月）ミュンヘン工科大学 (TUM) の CAMP (Computer Aided Medical Procedures) [Link] という研究室に客員研究員として滞在したときでした。そこで出会った Christian Rupprecht や Iro Laina との交流は、今振り返っても私にとって奇跡のような出来事でした。当時、私は博士課程の学生で、CVPR / ICCVなどトップ国際会議への論文投稿に何度挑戦しても一度も採択されたことがなく、英語力も絶望的（TOEIC 400点台※1）でした。ヨーロッパの研究者との人脈も皆無に等しく、経済的な余裕もありませんでした。それでもそんな私が、世界トップレベルの大学院生であった彼らと同じ研究室で机を並べ、一緒に研究できたことは信じられない幸運でした。

はじまりはその前年である2012年に CAMP Director の Nassir Navab [Link] が慶應大学を訪問した時のことでした。幸いにも研究室見学の際、私に5分間研究説明の時間をもらえたので、最初の3分間通常通り研究説明して、最後の2分は「TUMに訪問させて欲しい！なぜなら〜〜」というプレゼンを始めていました。普通所長レベルの研究者は誰だかわからない、成果のない日本の大学院生には95%以上の確率で「難しいかも...」みたいな反応をするのですが Nassir は躊躇なく「何ヶ月来られるのか？」と言ってくれました。当然断られたところから粘ろうと思っていたので、予想外の回答を得た私の方が言葉に詰まっているくらいでした。かくして、ドイツ行きの切符を掴んだかに見えましたが、実は予算もホスト研究者もそんな時間もなく、学年も博士課程2年目（D2）の秋という感じだったので、これまた失敗確率95%以上という具合でした。

• 予算 → 学振に落ち続けていましたが、この直後に学振特別研究員（DC2）の採択をもらいました。…学振DC 通らなかったらどうしてたんだコレ。

• 時間/学年 → 日本の博士課程は通常3年間です。ほぼ3年目に入りかけていたので、常識的には最後の一年間は学位取得のため所属機関にずっといて、博士論文を仕上げるのがセオリーです。ギリギリ夏休み期間7-9月を狙うと行けるのではないかと判断しました。

• ホスト研究者 → Nassir は所長なのでホスト研究者（受け入れ担当）は別にお願いする必要があります。勝手に出発予定としていた2013年7月の2ヶ月前になっても受け入れ担当を誰にするかが決まっていないという状況でした。Nassir に何度も連絡して、ギリギリ Slobodan Ilic [Link]をアサインして連絡を進めることができました。決まらなかったら勝手にドイツ行って話をつけようとしていたくらいでした。

こうして振り返れば、2025年現在の自分から過去の自分を見たとき、何度も敗者復活戦を勝ち上がってきたような道のりです。博士課程在学中、CVPR や ICCV などトップクラスの国際会議はおろか、その他のメジャー会議などから strong reject をもらい続け論文が採択されず※2、挑戦する度に悔しい結果が続いていました。「なぜ、それでも諦めなかったのか？」と問われることがありますが、私の場合、その理由は次のようなものです。

• 論文が何度リジェクトされても、研究そのものの楽しさや情熱を全く失わなかったから。むしろ挑戦を重ねるごとに研究への思いは強くなっていった。

• 研究に一日の大半を費やしても苦にならないほどだったので、努力を続ければいずれ上昇すると楽観的に信じていた。

• 「研究職は自分の天職だ」という直感めいた確信があり、研究者になる夢を捨てなかったから。

• たとえ評価が得られなくても、自分の研究は良いものだという確信が自信の源だった。

• 博士課程に進学した時点で「研究者になるまで絶対に諦めない」と初心がブレてなかった。

このように試行錯誤を続ける中で、間違いなく TUM での研究留学は私のひとつの転機になりました。TUM CAMP チームではメンバー全員が高インパクト研究を目標にしてトップ国際会議での発表を行っており、日々の議論や研究指導も常にその水準を目指す非常に刺激的なものでした。例えば、TUM の博士課程修了要件には「トップクラスの国際会議で2本、トップジャーナルで1本の論文採択」が課されていたため、研究室全体に自然とハイレベルな目標意識が浸透していました。

印象的だったのは、夏休み明け最初のグループミーティングでチームリーダーが開口一番 「で、CVPR にはどんな研究を出すの？」と問いかけたことです。休暇前後には張りつめた空気が漂い、昼食中も最新の研究動向について議論が交わされ、グループのメーリングリストには日々新しい論文情報が飛び交います。投稿締切が近づくと、リーダーはメンバーの論文に目を通し、イントロダクションをほぼ書き直す勢いでブラッシュアップしてくれました。また、執筆に自信のある Ph.D. 学生は締切直前まで実験を重ね、最後の一週間で一気に論文を書き上げて見事に accept（採択）をもぎ取るという離れ業をやってのけます。この実践的な訓練と高い目標設定のサイクルがメンバーをトップリサーチャーへと押し上げ、彼らはその後も成果を出し続ける好循環を生み出していました。

実際、私が TUM で時間を共に研究した友人たちは、その後数年のうちに CVPR・ICCV・ECCV といったコンピュータビジョン分野の最高峰会議で次々に成果を挙げ、オーラル発表や CVPR Best Paper Award 受賞まで果たしています。12年後の今日、彼 / 彼女らは英独の大学教員、はたまた Google / Meta / Adobe / Toyota Research Institute の研究員を経てチームリーダー格にまで上昇しています。わずか4ヶ月の滞在（2年連続2ヶ月; 逆に4ヶ月しか滞在していない日本人大学院生をよくみんな覚えてくれていましたね！）とはいえ、そうした卓越した環境で肩を並べて研究できた経験は、私自身の研究観を大きく変える転機となりました。

特に、研究成果やストーリーの「伝え方」 の重要性を学べたことは大きな収穫です。TUM 滞在中に共同で執筆した論文は、メンターの丁寧なブラッシュアップのおかげで表現力が飛躍的に向上し、その結果、次の年に初めてメジャー国際会議である ACCV 2014 で論文が採択されるという成功体験につながりました。それまで強烈な（ストロング）リジェクトの連続だった私にとって、このレベルの国際会議での accept は大きな自信となり「諦めなくて本当に良かった」と心から思えた瞬間でした。

この直後の2015年、日本で研究コミュニティ cvpaper.challenge を結成して10年間日本で研究活動を続けてきました。当然このTUMでの経験が大きく、CAMPも参考にしていたチームのひとつでした。このあたりの話は今回の主題ではないので、cvpaper.challenge の記事 [Link] に譲ります。

こうして得られた人脈と経験は、12年の時を経てもう一度花開くことになります。冒頭で触れたように、TUM で机を並べた Christian Rupprecht が CVPR 2020 Best Paper Award など華々しい躍進を遂げ、ポスドクからあっという間に学部講師（2021〜）、准教授（2023〜）となり、2回目の CVPR 2025 Best Paper も獲得しています。Iro Laina もTUM CAMP Ph.D. / Oxford VGG PostDoc で成果を着々と積み上げ続け、2023年から学部講師になり、私たちはオックスフォードに舞台を移して国際連携を進めるに至っています。2014年の日本帰国後も、国際会議のたびに近況報告をするなど交流が続き、何かイベント発生時にはメッセージのやりとりもしていました。

実は連携研究者のYuki M. Asano（浅野 マルクス 優樹）[Link] や Elliott / Shangzhe Wu（呉 尚哲）[Link] はそれぞれ Christian が Oxford VGG にきてから指導/研究連携した一番目・二番目の博士課程学生でした。私側も研究コミュニティ cvpaper.challenge にて過去10年の間に研究連携して博士号取得、産業界に行きつつも産総研に肩書きを持ちサポートしてくれているメンバーがいて国際連携を進めることができています。英国、日本で研究者になり、良い技術を創出し、なおも次の世代の研究者育成繋がるようなそんな流れを生み出せたらと思います。

また、2013, 2014年当時はお互いに全然異なる研究をしていたのですが、徐々に研究対象が近づきほぼ同じような対象を扱い、気づいたらお互いに論文を引用しあっていました。2023年にカナダで開催された CVPR にて意気投合して、国際連携チームを結成するに至っています※3。その流れで予算を獲得し続け、2024年9月からオックスフォード大学 VGG に研究滞在する 機会を得ました。ドイツと英国、学生と PI という立場の違いはあれど、研究に向き合う姿勢や目指す高みは共通しています。TUM で学んだ「世界最前線を目指し続ける」マインドは、オックスフォードの現在の環境でも確実に活かされていますし、逆に英国の伝統ある大学で培われた独立性や多様性のある研究風土から学ぶことも数知れずです。異なる国・組織での経験を積むことで、自分の研究スタイルに柔軟性と広い視野が養われたと感じています。

※1 英語面では本当に苦労しました。ドイツビールを飲みに行く機会にも恵まれたのですが、その際の会話に付いていくのが本当に難しい。懇親会で何も話せない人になっていましたが、行かないと練習する機会すらも失うのでなるべく断らずに参加していました。

※2 こちらのポストが関連します。

※3 CVPR 2023 で JST ASPIRE のみなさんからお声がけ頂いたことがきっかけで、国際連携チームが結成されています（下記写真参照）。ASPIREには2年連続で落ち続けましたが、他の予算に挑戦し続けたことで滞在費が賄われています。この場で Yuki M. Asano も参加、Elliott Wu は写真には写っていないものの、この時初めて会話したことを鮮明に覚えています。

JST ASPIRE と新たな挑戦 | 国際研究コミュニティ LIMIT.Lab

近年、日本の国際化を強める目的で、若手研究者が海外のトップ研究者と交流や連携を実施してプロジェクトを推進するための大型予算が組まれています。今回幸いにも、そのひとつである 2025年度 JST「先端国際共同研究推進事業（ASPIRE）」の一枠「次世代のための ASPIRE」に採択され、2025年12月からプロジェクトが開始されました。ASPIREの募集要項を最初に確認した際に「日本は学術的な国際舞台において、もはや世界トップ層に入り込めていないのではないか？」という衝撃的な内容が記載されており、国家としても危機感を持っているということが伺えました。

さて、ASPIRE事業において我々のプロジェクトでは、計算資源や学習データが限られた状況でも駆動できる マルチモーダルAI基盤モデルの研究に挑戦しており、その一環として国際研究コミュニティ「LIMIT.Lab」を立ち上げています。LIMIT.Lab では、以下のようなテーマを掲げて最先端の研究に取り組んでいます。

• 限定資源下におけるマルチモーダルAI基盤モデル: プロジェクトのタイトルにもなっています。膨大な計算資源や巨大データセットに依存せず、高度な AI基盤モデル（いわゆる Foundation Model / 基盤モデル）を構築・学習する技術の開発。すべての研究者・技術者にAI開発の市民権を与えることが目標です。

• フィジカルAI: Oxford VGG のメインフォーカスのひとつです。主に現実世界の3D空間を再構成するようなモデル構築を行い、現実世界で相互作用できるようなAIモデルの研究開発に取り組みます。シミュレーションと現実の架け橋を作り、AI が物理世界で知覚・判断・行動できるようにする試みです。

• 合成データによるAI学習: 凡ゆるモダリティ・タスクに対して柔軟にデータ生成を行えるという意味で、合成データ/生成データはポテンシャルがあると思います。画像・映像・音声・言語などマルチモーダルや複数タスクを統合し、認識・生成できるAI基盤モデルの研究。数式ドリブン教師あり学習（FDSL）[Link]からの流れで研究しており、生成モデル等も用いて概念拡張も狙えないか検討しております。

• 視覚機能を拡張する研究: 大規模言語モデル（LLM）に比べて、視覚基盤モデル（Vision Foundation Model）はまだまだ拡張できるポテンシャルがあると思っております。言語モダリティに頼らず、視覚自体を拡張していくような研究を増やしていきたいです。（DINO [Link]やVGGT [Link]みたいな研究やりたくないですか！？DINOのベースを作った研究者やVGGTの共著者もプロジェクト内にいます！）

これらは私たちのチームが掲げるフィロソフィや目標そのものであり、2025年度のプロジェクト申請書にも LIMIT.Lab の構想をそのまま書き込みました。実際、今年度の公募に応募したのは2025年5月でしたが、申請後一気に準備を進め、CVPR 2025 の直前である6月初旬には LIMIT.Lab を正式に結成して公開しました。せっかく申請書を書くために国内外のチームをまとめたので「その勢い」で研究を加速させようとの決断です。

現在、ASPIRE もとい LIMIT.Lab には国内外から多様なメンバーが参加しています。国内側では産総研の研究者に加え、研究分担先の東京科学大（代表：井上 中順 先生）、東京理科大（代表：入江 豪 先生）における研究者がメンターとして参画しています。また、これまで産総研のRA（リサーチアシスタント）やインターンとして活動してきた学生のみならず、所属を問わず研究に意欲ある学生・若手研究者を広く受け入れコミュニティを拡大しています。さらに、現在も私が主宰を担当する研究コミュニティ cvpaper.challenge の有志メンター、研究メンバーも多数ジョインしており、産官学を横断した非常に開かれたチーム構成になっています。

国際連携による国際プロジェクト・共著論文もこのプロジェクトの肝です。海外のメンターとして、英独蘭を中心に世界トップクラスの研究者が参画しています。しかし彼らは各所から"HIKUTE AMATA"であり、何もつながりがないところからメールするだけでは簡単に時間を割いてもらえないのが現実です。そこで工夫しているのが「日本側の学生・研究者やメンバーで研究テーマの下地を作ってから海外につなぐ」というアプローチです。まず日本側で学生・若手研究者に国内メンターを付け、テーマ設定や予備実験をある程度進めてから、海外側のメンターに「確度高く投稿/モデル構築できるところまで研究開発を進めたので、さらに高みを目指して連携しましょう！」と依頼するようにしました。この一手間を加えることで、先方にも本気度が伝わり、結果として以前より快くメンタリングを引き受けて頂ける機会が増えてきたと感じています。幸い産総研という公的機関が仲介に入ることで信用も得やすく、国内外の架け橋としてうまく機能し始めています。

今後、このような取り組みを通じて、日本から世界へ挑戦する若手研究者を後押しして、国際研究連携のネットワークを広げていくことがASPIREプロジェクトの目標です。

かつて博士課程の、しかも英語力ゼロ、成果なし、人脈なしのいち学生だった私（片岡）がドイツ・ミュンヘンで多くを学び成長のきっかけを掴んだように、今度は私が次の世代を支援する番だと思っています。ASPIRE / LIMIT.Lab から若手が将来それぞれのストーリーの中で研究の中核を担い、さらに次の世代を育てていく、そんな好循環を生み出す、その一助になることを望んで取り組んでいきます。

おわりに

これは、私自身が12年の時を経た英独の滞在中に実感した真理です。実際、2013年に同じ研究室で切磋琢磨した学生時代の研究仲間と、2024年から始まり2025年現在も再びオックスフォードで一緒に研究できていること自体、お互いに挑戦を続けてきたからこそ実現した「奇跡の時間」と言えるでしょう。研究に限らず、場所がどれだけ離れていようが別の場所で同じように苦労し努力を積み重ねた時間は、人と人とを強く結びつけ、その絆は年月を超えて大きな価値を生み出すのだと感じます。

近年のAI研究の動向から見ても、私たちの挑戦は今後さらに激化すると思っています。ChatGPTに代表される大規模言語モデル（Large Language Model; LLM）が世界を巻き込む社会現象となりました。画像を見ることができる視覚言語モデル（Vision Language Model; VLM）が登場しましたが、その次には現実世界に影響を与えるフィジカルAI（Physical AI）や、環境の物理法則を理解し空間内の移動を予測する世界モデル（World Model）といった概念にも大きな注目が集まっています。

デジタル空間の中だけで完結していたAIがいよいよ現実世界に降りてくる時代が目前に迫っています。いやもうきています。現実世界における視覚機能をAIが理解、応用する必要性が一層高まっており、AIの流れは再びコンピュータビジョンにも移行してきます。ここで、私の所属するのは Visual Geometry Group で、現実世界の3D空間を再構成することを世界に先駆けて取り組み、分野をリードしてきた研究室です。実際に VGGT (Visual Geometry Grounded Transformer) はフィジカルAIにおける世界的なベースラインとして扱われており、日々解析やモデル改善が繰り返されています。新たなフロンティアが次々と生まれる今、学生も含めて若手研究者にとってはこれ以上ない追い風が吹いています。世界最前線への挑戦も、世界トップサークルへの参加も、大学院生がトップ研究者へと成長するチャンスも、まさに今この瞬間我々の周りに拓かれています。

もちろん、すべての研究者が世界の最先端を目指す必要はありません。それぞれが自分なりのペースと目標で研究に向き合えば良いと思います。しかし、高みを目指そうとする人がいて、その人が得た知見や人脈を周囲に共有することでコミュニティ全体が底上げされるのも事実です。私自身、まだ道半ばではありますが、これからも新しいことに挑み続けること、英国を中心にヨーロッパの研究者との交流を続けていくこと、そしてそこで得た経験は積極的に次世代研究者と分かち合い、共有していきたいと考えています。当記事もその一環と考え執筆しています。

この記事の結びとして、この記事の読者の皆さんの中から、直近・近い将来一緒に新たな研究に挑み、世界最前線を目指す研究仲間が生まれることを心から楽しみにしています。ドイツに導いてくれた日独の先生方、オックスフォードに導いてくれた学生時代の研究仲間、研究コミュニティの主宰として認めて付いてきてくれた日本の皆さん、そして研究連携を通してここまで押し上げてくれたみなさんには感謝の気持ちでいっぱいです。

トップを目指す挑戦を続ける皆さんには、共鳴する出会い・未来への道すじが必ずつながっていきます。お互いに切磋琢磨しながら、これからも世界の最前線を目指して頑張っていきましょう。今回読んで頂いて、誠にありがとうございました。

LIMIT.Lab / ASPIRE メンバー募集

もし LIMIT.Lab / ASPIRE にご興味ある方は、LIMIT.Lab の contact us ( https://limitlab.xyz/contact/ ) から Slack にご参加ください。私は "Hirokatsu Kataoka" という名前で登録しているので、遠慮なくDMください。