【Sora2】リップシンクバッチリ！話題の動画生成を試してみました✨️

めいのはです。
最近すごく話題になってますね、Sora2。なんか動画生成が凄いとか！
わたしが特に注目してるのは、リップシンクの精度。ナレーションとか、声優を入れた動画を作ろうとしたら、気になる部分です。

本日投稿した「みんなで重力の謎を考える日」を素材にして、試しに動画生成してみました。

Sora2で早速生成テスト！

静止画とテキストでリップシンクできるか？

まず、喋らせたいキャラクター画像を1枚投下。

あとは、かんたんな指示と台本を渡してみます。

ざっくりした指示文で、あとはSora2におまかせ。
そして、5分ほど待って出力された結果がこちらになります✨️

おぉ～、口元アップしたり、後ろからのアングルを追加したり、結構イイカンジに生成してくれてますね。リップシンクもばっちり！
イラストの一貫性も保たれてるように見えますし、このクォリティを素材を渡してから5分くらいで作れるのは、なかなか驚異的です。

同じ素材を、ショート動画サイズで作ってみました。

これまた面白い動きが出てきました。こちらもリップシンクできてます。

動画っぽくないと感じるかもしれませんが、ショートで飽きさせない演出という意味で正解な感じもしますね。ガチャ要素もあると思いますが「カメラアングルを文節ごとに変更」というのが、もしかして効いてる？ 効果音も指定通り適時入ってますし。
絵の一貫性については、よく見ると変わっちゃってる部分がありますね。

複数キャラクターで、リップシンクテストできるか？

次はちょっといじわるして、複数キャラクターです。

さすがに厳しかったかな。構図を工夫すればいけるんでしょうか？
でも、指定通りリップシンクを青い子にできてますね～、ここは凄い😊
（金色の子がちょっと口パクってしてますけど、2回生成して概ね良好なリップシンク結果でした）

テーマと外れちゃいますが、最近公開したハロウィン集合イラストでも試してみました。

あっ、凄くかわいい…っ✨️
前半は口パクしてませんが、これはカメラマンが声掛けしてるともとれますね。この辺りはもっと細かく指示すれば、うまくできそうな感じがします。
後半は４人揃っておしゃべりしてて、リップシンクもとれてます。凄い。

音声は3回くらい生成を試したところ、似た声質ではあってもセリフが毎回違ったので、元の声はありつつセリフは毎回生成してるのかも。
（ただ「猫っぽく」じゃなくて、猫なんですけどね笑）

動画については「最後はにっこり笑顔」がしっかり効いてて、破壊力上がってますね。かわいいが過ぎますっ💕
動きは控えめですが、記念撮影らしい動画になってますね。指示の仕方もあると思いますが、適した構図次第で複数キャラでも頑張れそうです。

テキストのみで適した動画生成ができるか？

イラストを与えず、台本のみで生成した結果もあります。

台本の内容を理解して適した動画を作ってくれてます。YouTubeの解説系動画にありそうな雰囲気。こういう理解力はさすがですね。AIに任せたほうが良いっていう例になりそうです。

ただ、演出重視で喋っているシーンはありませんでした。映像を完全にお任せにする場合は、ナレーションをさせることを明確に指示したほうが良いのかもしれません。

Sora2をはじめて使ってみた感想

使ってみた率直な感想は「かんたんで凄い」のひと言に尽きます。
もう少し詳しく言うと「かんたんな指示、あとはお任せで見栄えが良い動画が短時間で作れて凄い」です。

リップシンクについては活用したいレベル。
ただ、音声はSora2まかせになり、こちらから音声素材は渡せないようなので、わたし的な使いどころは今のところないかなって感じです。

見栄えが良い動画が、必ずしも求めている動画ではありませんが、まず作ってみたい、動かしてみたいという需要には、十分こたえてくれるでしょう👍️

せっかくAIで作れるのですから、指示（プロンプト）もかんたんにして、あとはAIに任せる使い方がいいのかな。もちろん、こだわって最適なプロンプトを探るのも良いと思います。かんたんからは遠くなりますけど、バシッと決まると気持ちいいんですよねｗ

いずれにしても、Sora2で完成品をいきなり作るというより、素材作りに使うのがいいのかな～って感じです🎞️

もしくは、SNS投稿したり共有したりしてライトに楽しむ感じ。アプリ版とか、そういう雰囲気ありますものね。投稿して楽しもうぜ！ みたいな。

それでは、この辺で～✨️

めいのは作品紹介

✨️きんいろ少女✨️

🌙銀色少女🌙

🐈️青色にゃん娘🐈️

#AI
#AIイラスト
#AI画像生成
#Sora2
#ChatGPT
#猫耳