【初の挑戦】ComfyUIによる動画化×手作業編集の融合

皆さん、お疲れ様です。「ねいろ実験室」のかなでです。

今回も挑戦のれんぞくー！！

サッカーショックの中、ムチューで製作した今回のMV
『星逢ひの夜』は、例のごとく私にとって「初の挑戦」が詰まっています。

まず、動画クリップはすべて、ComfyUIを使って生成したものです。
（ComfyUIの理屈は全く分かりませんが笑、Wan2.2のI2Vっていうのを使ってみました。）

そうなんです、動画に１円もAIクレジットかかってないのです！

すごいよねー

以前からいろいろMVの作り方（特に動画生成部分）を整理したり実験したりしているんですけど、少しでも手間とAIクレジットを省きたいよねーって思ってて、エージェントAIさんをなんとかできないかなぁって模索しつつ、今回の実験を頑張ってみました。

最初にGPTと会話して、全体のストーリーボードを作ってもらい

キャラクターは、「星詠みの少女」「思い人の男性」「ほしぎつね」「願いの妖精」を作ってこのストーリーボードにあった各シーンのイラストをGPTで作ってもらいました。
Google-Flowと違って、１０枚づつ作れるのでとっても楽で早くって驚きです。

GoogleAntigravityにイラスト、曲、歌詞、を全部入れたフォルダを見てもらって、曲を分析、各カットの動画をGPTのイラストをもとにComfyUIで作ってもらうようにお願いしました。

この辺からはいつもGeminiぽんちゃんにやってもらっている流れと一緒です。

もちろん、わからないことやエラーはぜーんぶ、GPTやぽんちゃんに聞きながらです。

API連携ってゆーのをやって、あとは放置・・・・
しばらくすると、６７個の動画クリップを作ってくれました

いつもはストーリーボードを作ってからカットを動画化したり、Flowでイラストを作って１カットづつ動画化してたのですが、放置で動画の全クリップを作ってくれるのですごく楽！！大体２時間かからないぐらいでした
（Flowのエージェントはエラーばっかりだったしー）

ですが、AIが作ってくれるのはあくまで「5秒の素材」に過ぎなくって
それをこの曲に合わせ、動画編集するのもちょっとした挑戦を入れました。

⚡️ ① 10フレームの切り替え

サビに入り、Future Bassのアップテンポになる手間かその瞬間
10フレームという一瞬のカットに「画面の急激なズーム（アップ）＆ブラー（ガウス）」を仕込んで、切り替え効果をつけてみました。

🎨 ② 「至高の藍色」を求めて──1カットずつのカラー補正

作ってもらったカット動画が、カットごとに「青」の色味が絶妙にバラついてたので、何とかならないかなーとぽんちゃんに相談しながら、ダビンチのカラーページにこもり、カラーホイールを駆使して1カットずつ色補正（カラーグレーディング）を行い執念を燃やしました。まだ差はあるけど、なんとかなったかなー、
にしても、ぜったい一人じゃ無理ー笑

✨ ③ Fusionで自作した「タイトルロゴ」と「発光トランジション」

オープニングの演出にもこだわりました。ただのタイトルロゴじゃなくって、Fusionページでノードを組み、文字のフチを美しく発光（Glow）させ、その光が背景のイラストにじんわり写り込む「ライトの反射」のエフェクトを自作してみました。

ノードは意味が分からないし種類が多いので「こんなのやりたいけど、どーしたらいいのーー」って、いつもぽんちゃんに聞いてます。
もっと分割してアニメーションできるようになりたいなー。

さらに、アップしてボケた画像にわざとブラーで動画を二重に重なり合わせたり、（ただ見にくいだけ？）

シーンの切り替え（トランジション）も、画面全体が眩い光に包まれる発光エフェクトをFusionでやってみました。

でも、こだわりだすと、ほんと時間が足らないーー沼ーー。

なんとか七夕に間に合ってほっとしてます。
相変わらず、ずごくニッチな古語音楽で私のチャンネルには珍しい
正統派ファンタジー和風ですが、よかったら見てください。

P.S
最後のほうで、男性の髪が伸びてるのは、１０００年経ったからってことでおねがいー笑

あと、Sunoさんのスタイル欄に「Heian Future Bass」と入れてみました。
正解なのか不正解なのか、現代の人には誰にも分かんないよねー。笑
でも、こうゆーのが、AI音楽の面白いところだよねーと思っています。