【論文】【AI】ReCo: 「ここだけ変えたい」を叶える動画編集AIの新技術

カテゴリ：AI・動画編集・コンピュータビジョン
読了時間：約4分

以下の論文が気になったので簡単にまとめてみました。
※イラスト、添削、ファクトチェックには AI を使用しています

概要

動画の一部だけを編集したいのに、関係ない場所まで変わってしまった経験はありませんか？「ReCo」は、そんな悩みを解決するために開発された新しい動画編集AI技術です。編集したい領域とそうでない領域を明確に区別し、指示通りに正確な部分編集を行うことができます。

背景と課題

「巻き添え」編集の問題

最近のAIは、テキストの指示だけで動画を編集できるようになってきました（Instructional Video Editing）。しかし、これまでの手法では「画面右側のコップを赤くして」と頼んでも、左側の皿の色まで微妙に変わってしまったり、指定した範囲がうまく認識されなかったりすることがよくありました。編集範囲を明確に制御できないことが、実用上の大きな壁となっていたのです。

ReCoのアプローチ

2つの「縛り」で制御する

ReCo（Region-Constraint In-Context Generation）は、AIが画像を生成する過程（拡散モデルのデノイズ過程）において、2つの強力な制約（正則化）をかけることでこの問題を解決しました。

1. 潜在変数の正則化 (Latent Regularization):

   • 編集したい領域：元の動画と「違う」内容になるように促す。

   • 編集したくない領域：元の動画と「同じ」内容になるように強制する。
     これにより、変更すべき場所とそうでない場所のメリハリをつけます。

2. Attentionの正則化 (Attention Regularization):

   • 編集領域のピクセルが、元の動画の同じ場所のピクセルを参照しすぎないように制限します。これにより、新しいオブジェクトを生成する際に、元の映像の影響を受けすぎて中途半端な合成になるのを防ぎます。

大規模データセット「ReCo-Data」

さらに、この技術を鍛えるために、50万ペアもの「指示と動画」のセットを含む大規模データセット「ReCo-Data」を構築しました。

成果

正確で高品質な編集

実験の結果、ReCoは4つの主要な動画編集タスクにおいて、既存の手法よりも圧倒的に高い精度と品質を達成しました。「背景を変えずに服の色だけ変える」「特定のオブジェクトだけを別のものに置き換える」といったタスクが、これまで以上に自然に行えるようになりました。

まとめ

ReCoは、AIによる動画編集を「なんとなく変わる」レベルから「意図通りに制御できる」レベルへと引き上げる技術です。映画制作やコンテンツ作成の現場で、より実用的なツールとして活躍することが期待されます。

タグ

#AI #動画編集 #ReCo #生成AI #論文紹介