見出し画像

Gemini Omni の概要

npaka

以下の記事が面白かったので、簡単にまとめました。

・Introducing Gemini Omni


1. Gemini Omni

「Gemini Omni」は、Google DeepMindが開発する新しいマルチモーダル生成モデルです。

Geminiは、テキスト、画像、音声、動画を横断して扱えるモデルとして設計されています。Gemini Omniでは、その特徴を活かして、複数の入力を組み合わせた一貫性のある動画生成が可能になります。
また、Geminiの推論能力を使い、現実世界の知識に基づいた動画生成や、会話による動画編集にも対応します。

2. Gemini Omni でできること

「Gemini Omni」でできることは、大きく3つあります。

1つ目は、テキストや画像などをもとに動画を生成することです。キャラクター画像、背景画像、参考動画、音声などを組み合わせて、1つの動画として出力できます。

2つ目は、動画を会話で編集することです。「背景を変えて」「照明を暗くして」「カメラアングルを変えて」といった自然な指示だけで、動画の内容を調整できます。

3つ目は、Geminiの知識を活かした動画生成です。物理、科学、歴史、文化的文脈などを踏まえて、次に何が起こるべきかを推論しながら映像を作ることを目指しています。

3. 会話を通して動画を編集する

「Gemini Omni」の大きな特徴は、動画編集を自然な会話で進められることです。

従来の動画編集では、タイムラインやエフェクトなどの操作が必要でした。一方、Gemini Omniでは、「この部分をこう変えて」と文章で伝えるだけで編集できます。
しかも、1回の指示で終わるのではなく、前の編集内容を引き継ぎながら、複数ターンにわたって動画を洗練できます。

3-1. 周囲の世界を変える

「Gemini Omni」では、動画内の人物や物体だけでなく、その周囲の環境も変更できます。

たとえば、部屋の照明を暗くしたり、背景を別の場所に変えたり、シーン全体の雰囲気を調整したりできます。
Googleの例では、「彫刻を泡でできたものにして」という指示で、動画内のオブジェクトを別の質感や素材に変えています。
同じ人物や構図を活かしながら、舞台、質感、光、雰囲気を変えて、まったく違う世界観の映像に仕上げられます。

プロンプト : 泡で彫刻を作ってください。

3-2. アクションを再考する

「Gemini Omni」は、動画の見た目だけでなく、動画内で起きているアクションも変更できます。

人物の動きに別の効果を加えたり、新しいキャラクターを追加したり、ある瞬間を別の演出に変えたりできます。
Googleの例では、人物が鏡に触れたときに、鏡が液体のように波打ち、腕が反射する鏡のような素材に変化する演出が紹介されています。
つまり、「何が映っているか」だけでなく、「何が起きるか」も編集対象になります。

プロンプト : 人が鏡に触れると、鏡が液体のように美しく波打ち、人の腕が反射鏡の素材に変わる。
プロンプト : 部屋の照明を暗くしてください。手の上を漂うガラス球の中に、白黒の市松模様の部屋を配置します。球の中には、球を持っている同じ手の再帰的な表現が含まれており、無限に続く部屋の再帰構造を作り出します。カメラはゆっくりと球に近づき、ビデオループを作成します。
プロンプト : アパートの明かりが音楽に合わせて点灯し始める。

3-3. 複数の編集ステップで動画を洗練させる

「Gemini Omni」では、複数の編集指示を段階的に重ねられます。

たとえば、バイオリニストの動画を作り、次に背景を変え、さらにバイオリンを透明にし、最後にカメラアングルを肩越しに変更する、といった編集ができます。
動画制作は「一発で正解を出す作業」ではなく、まず大まかな動画を作り、そこから会話しながら理想に近づける作業になります。

プロンプト : バイオリニストが曲を演奏している動画。
プロンプト : バイオリニストを画像環境に移動させる
プロンプト : バイオリンを透明にしてください
プロンプト : カメラアングルをバイオリニストの肩越しに変更してください。

4. Geminiの知識を活かして、意味のある映像を作る

「Gemini Omni」は、見た目がリアルな動画を作るだけではありません。Geminiの知識を活かして、「次に何が起こるべきか」を推論しながら映像を生成します。

物理、歴史、科学、文化的文脈に関する知識を組み合わせることで、フォトリアルな映像生成から、意味のあるストーリーテリングへ進むことを目指しています。

4-1. より自然な物理表現

「Gemini Omni」は、重力、運動エネルギー、流体力学など、力の働きに対する理解が向上しているとされています。

たとえば、ビー玉が連鎖反応式のコースを転がる映像では、単にそれらしい絵を並べるのではなく、動きの流れや物理的な自然さを考慮した生成が期待できます。

プロンプト : 連鎖反応のような軌道上を高速で転がるビー玉を、滑らかな連続ショットで撮影してください。

4-2. 知識と創造性を組み合わせる

「Gemini Omni」は、Geminiの知識を使って、言語、画像、意味を結びつけることができます。

たとえば、アルファベット26文字それぞれに対応する珍しいアイテムを、順番にテーブル上に表示する動画のように、知識を含む構成づくりにも対応できます。

プロンプト : 動画にはアルファベットの各文字が映し出されます。各文字で始まる珍しいアイテムがテーブルの上に置かれている様子が映し出されます（例えば、CはCapybara、Dはdisco globe、LはLava Lampなど）。26文字すべてを、文字を表示する下部3分の1が揃った26個のアイテムで表現する必要があります。一度に表示できるアイテムと下部3分の1は1つだけです。各下部3分の1は、左下にある紙切れに黒いマーカーで書かれた文字のように見える必要があります。高速で、1アイテムあたり約9フレーム、24FPSで表示されます。最後のフレームは「THE END」と書かれた紙切れです。動画全体には、穏やかで滑らかな音楽が流れます。

4-3. 複雑なアイデアを映像で説明する

「Gemini Omni」は、複雑な概念をわかりやすい映像に変換する用途にも向いています。

たとえば、タンパク質フォールディングをクレイアニメ風に説明するように、専門的な内容を視覚的に理解しやすい形へ変換できます。
教育コンテンツ、技術解説、プレゼン資料、SNS向けの短い解説動画などで役立ちそうです。

プロンプト : クレイアニメーションによるタンパク質折り畳みの説明、すべて粘土でできており、手を使わず、ストップモーションで、正確であること

5. さまざまな入力を組み合わせて動画を作る

5-1. あらゆるものを参照できる

「Gemini Omni」は、画像、テキスト、動画、音声などを参照して、1つのまとまった動画を生成できます。ただし、提供開始時点での音声参照は音声・声の参照が中心で、その他の音声入力は今後対応予定です。

Googleはこれを「Reference anything」と表現しています。画像、テキスト、動画、音声を参照し、それらを一貫した出力へまとめられるということです。

プロンプト : image_0.png を基にした、ダイナミックなSF映画風ビデオ。video_0.mp4 と同様に、audio_0.wav の音楽のリズムに合わせて要素が点灯します。
プロンプト : ビデオ0の極端なカメラワーク、遠近法、歪みを参考に、画像0のキャラクターの正面を向いた全身歩行サイクルを作成し、リアルなシネマから始めて、歩行サイクル中に複数のビジュアルスタイルへと素早くスタイルを切り替えます。環境はそのままに、スタイルのみを変更します。背景は常に空を中央に配置し、ハードカットで表示します。歩行、音声は途切れることなく、スタイルの変化は音声のリズムに完全に同期します。シネマティック、16:9。
プロンプト : 私がシダの葉に触れるタイミングに合わせてハープの音を追加してください。葉の構造はすべて半透明の3D生物発光植物に似せて、その周りを生物発光するホタルが飛び回り、私が演奏すると音に合わせて反応します。部屋の壁に反射する、微妙なボケ効果のある被写界深度のダイナミックな照明、部屋の構造はそのままにしてください。

5-2. 手元の素材から始める

「Gemini Omni」では、すでに持っている画像や動画を出発点にできます。

キャラクター画像、背景画像、ラフスケッチ、参考動画などを入力し、それらをもとに動画を生成できます。
Googleの例では、スケッチを動きのガイドとして使い、最終的な動画ではスケッチ自体を表示しない、という使い方が紹介されています。

プロンプト : 私が歩くにつれて、世界が徐々にレトロフューチャーなスタイル（画像1のようなざらざらとした、雰囲気のあるスタイル）に変化していく様子を想像してください。レトロフューチャーなBGMとして音声を使用してください。10秒。
プロンプト : この絵を動きのガイドとしてのみ使用し、最終的なビデオには絵を表示せずに、リアルな映像に変換してください。
プロンプト : 入力ビデオのポーズと動きを、この画像から提供されたキャラクターに適用します。画像参照のスタイルを新しいビデオに適用します。

5-3. スタイル・動き・効果を参照できる

「Gemini Omni」では、入力した素材からスタイル、動き、効果を参照できます。

ある動画のカメラワークや動きを別のキャラクターに適用したり、参考画像のスタイルを新しい動画に反映したりできます。
つまり、「この素材のこの要素だけ使いたい」という指定がしやすくなります。キャラクター、動き、画風、カメラワーク、音楽との同期などを組み合わせて、より意図に近い動画を作れます。

プロンプト : すべて同じまま編集してください。スケートボードからアニメーションモーションエフェクトが出てくるように追加してください。
プロンプト : 提供された動画からクジラの泳ぐ動きを、提供された流体反射素材の画像に適用してください。クジラや水は表示せず、代わりに、この反射する動く素材が、泳ぐクジラに似た形状を形成するようにしてください。水を、動く白い滑らかな素材の形状に置き換えてください。

6. 自分のデジタルアバター動画を作る

「Gemini Omni」では、自分自身のデジタルアバターを使った動画生成にも対応します。

「Avatars」機能では、自分自身のデジタル版を作成し、自分のように見えて、自分のように聞こえる動画を生成できます。
一方で、動画編集によって音声や発話を変更する機能については、現在もテストと検証を進めている段階です。

また、「Gemini Omni」で作成されたすべての動画には、目に見えないデジタル透かし「SynthID」が含まれます。Geminiアプリ、ChromeのGemini、Google検索を通じて、Gemini Omniで生成された動画かどうかを確認できます。

7. Gemini Omni をはじめる

最初のモデルである「Gemini Omni Flash」は、Google AI Plus、Pro、Ultraユーザー向けに、「Geminiアプリ」「Google Flow」で展開されます。

また、「YouTube Shorts」「YouTube Create App」では今週から無料で順次提供され、今後数週間で開発者やエンタープライズ顧客向けに API 提供も予定されています。

8. 使用例

関連



いいなと思ったら応援しよう！