黒パグ、MVを作る。第一回——AIなら簡単だと思った。まだ1/5です。 ChatGPTとGrok、そしてPollo AI。
こんにちは、黒パグです🐾
最近noteを見ていると、動画を作っているクリエイターさんをよく見かけます。
短い動画だったり、AIを使った映像だったり、ちゃんと一本の作品になっていたり。
いいなあ。
楽しそうだなあ。
じゃあ私も作ってみるか。
そう思いました。
軽い気持ちでした。
曲はすでにあります。
今回使うのは、私が作っているLLM48プロジェクトの曲『Human on the Loop』。
元ネタはHuman in the loop 。Human in the Loopとは、AIにすべてを任せず、途中の判断や確認に人間が入る仕組みです。
今回の曲名は『Human on the Loop』。人間が作業する側から、AIの仕事を外側で見張り、確認する側へ移っていく。その少し不安定な関係を表しています。
約5分5秒。
生成AIも普段から使っています。画像は作れる。動画にもできる。構成もAIと一緒に考えられる。
だったら、まあ何とかなるでしょう。
なりました。
54秒まで。
まだだいたい1/5です。
制作環境は、ほぼiPad一枚
今回の制作環境はかなり軽いです。
メインはiPad Pro。
構成や演出、カット割りの相談にはGPT-5.6 SolのChatGPT Work。静止画やコマ割りにはGrok Image。そこからPollo AIなどを使って動画にして、最後はCapCut for iPadへ持っていきます。
企画から生成、編集まで、ほぼiPadの中で完結します。
昔だったら「映像制作」と聞いただけで、もう少し大掛かりなものを想像したと思います。
ところが今は、iPadを持ってソファに座れば始められる。
すごい時代です。
そして私は思いました。
これ、めちゃくちゃ楽なのでは？
違いました。
AIは普通に速かった
意外だったのは、画像生成そのものにはそれほど時間がかからないことでした。
動画化も同じです。
もちろん一発で完璧なものが出るわけではありません。
たとえば、机の上にコーヒーを置いてほしい。
AI「了解しました」
生成。
HHKB(キーボードの名前。一部のエンジニアが大好きなやつ)の上にコーヒー直置き。
おいやめろ。
修正します。
すると今度は、なぜか指から湯気が出たりする。
なぜだ。
ただ、このあたりは何回かやっているうちに慣れてきます。
全部を100点にしなくてもいい。
最後の0.3秒で顔が怪しくなった？
そこまで使わない。
背景が微妙につながらない？
フェードを入れる。
謎のカメラ移動が発生した？
ビートに合わせて切る。
なんならエフェクトをかける。
すると不思議です。
AIが作った微妙な動きが「演出」になります。
映像制作の奥深さを、たぶん間違った方向から学びました。
問題は、その後だった
素材ができました。
曲もあります。
あとは並べれば完成です。
……とはなりませんでした。
曲に映像を合わせ始めると、急に気になることが増えてきます。
歌詞が始まる位置。
カットが切り替わる位置。
字幕の入り。
字幕の消え方。
フォント。
文字位置。
フェードイン。
フェードアウト。
前の映像のカメラが右へ動いているなら、次の映像はどうつなぐのか。
そして、音。
今回の『Human on the Loop』は、その名の通りHuman on the Loopがテーマです。
最初は「人間の仕事を助けてくれる便利なAI」だったものが、少しずつ自律していく。
人間は作業する側ではなく、確認する側へ。
やがて、自分が「ありがとう」と言っている相手すら人間ではなくなっていく。
怒りというより、感謝と喪失の曲です。
だから歌詞と映像を合わせ始めました。
ここで終わればよかった。
終わりませんでした。
音程にまで映像を合わせ始める
プレコーラスにこんな部分があります。
When did it happen?
The one I say “thank you” to
stopped being a person
ここ、後半へ向かって音程が少しずつ上がっています。
特に、
stopped beeeeeeing a person
のbeingが伸びる。
私がGPTに、
「ここ↑こう上がってるの分かる？」
と説明しました。
すると当然のように、
「なら映像も上昇させましょう」
みたいな話になる。
……そうですね。
やりましょう。
When did it happen?
ゆっくり寄る。
The one I say "thank you" to
もう少し寄る。
beeeeeeing
長くドリーイン。
person
止める。
その直後、サビ前で音のエネルギーが一度落ちる。
なら映像も一度止める。
そしてサビ頭で開放。
気づいたころには、
普通にMVを作っていました。
なんでだよ。
そして始まる33ミリ秒との戦い
CapCutのタイムラインを見てください。
完成した映像を見ると、普通につながっています。
編集画面を見ると、普通ではありません。
素材の速度は0.5倍、0.7倍、0.8倍、0.9倍、1.1倍、1.2倍。
短い映像を上から被せ、字幕を分割し、音に合わせて位置を変える。
フェードを調整して、
「あ、ちょっと早い」
戻す。
「いや、今度は遅い」
また動かす。
最大までズーム。
今回30fpsなので、1フレームは約33.3ミリ秒。
視聴する人は、おそらく気づきません。
私も完成した映像だけ見せられたら気づかないと思います。
でも編集している本人は、
「違う。ここじゃない」
となる。
そして1フレーム戻す。
恐ろしい遊びを始めてしまいました。
3時間で16秒できました
制作を始めて、この時点で10日ほど。
1日に触っている時間は、短い日は30分くらい。長い日は3時間くらいです。
この日は約3時間やりました。
開始時点で38秒。
終了時点で54秒。
本日の成果、16秒。
生成AIで動画制作が爆速になりました。
※3時間で16秒。
ただ、これはAIが遅かったわけではありません。
画像は出ます。
動画も出ます。
むしろ速い。
時間を使っているのは、その後です。
「このカットのほうがいい」
「字幕をもう少し上に」
「ここは3フレーム早い」
「サビ直前だから一度止めたい」
全部、人間が言っています。
AIで制作速度は上がりました。
人間のこだわりは高速化されませんでした。
しかも曲のタイトルは、
『Human on the Loop』。
AIが素材を作り、人間が横から延々と口を出しています。
曲のテーマを制作現場で実演しなくていい。
そして10日目、衝撃の事実が判明する
今回、GPTにも編集を見てもらいながら作っています。
ところが困ったことがありました。
音と映像の関係をどう伝えるか。
YouTubeのリンクを渡しても、こちらが見てほしい「この瞬間のカットと音が合っているか」まで簡単には伝わりません。
そこで私は考えました。
CapCutのタイムラインをスクリーンショット。
音声の波形も撮る。
そしてGPTに、
「見ろ。この右側の凹んでいるところ」
「ここがサビ前」
「この動き分かる？」
と説明する。
さらに、
「プレコーラス後半、音程が少しずつ上がってるの分かるかな」
と文字で説明。
When did it happen?
↑
The one I say thank you to
↑
stopped beeeeeeing a person
こんな感じです。
GPTも理解して、映像の減速やカメラワークを一緒に考える。
よし。
これでいける。
そして数時間後。
ふと思いました。
「MP4って直接いけるんか？」
GPT。
「いけます」
……。😰
実際に渡してみました。🤨
映像、読めます。😥
30fpsも分かります。😓
音声も入っています。😣
尺も取れます。😟
映像と音を直接確認できます。😳
私はそれまで何をしていたのでしょう。😭
波形のスクリーンショットまで撮って、
「この凹み分かる？」
とAIに一生懸命説明していました。
先に言え。
まだ1/5です
というわけで、MV制作10日目。
完成したのは約54秒。
曲は約5分5秒。
まだだいたい1/5です。
でも、やってみて分かったことがあります。
AIのおかげで、一人でもここまで素材を作れるようになった。
iPad一枚でもMV制作に手を出せる。
これは間違いなくすごい。
ただし、その先。
どの映像を使うか。
どこで切るか。
どの音に合わせるか。
何を見せるか。
そして、
「あと1フレームだけ動かしたい」
と思ってしまう人間までは、自動化されていませんでした。
さて。
残り約4分。
……。
第二回へ続きます。
たぶん。
なお、この記事を書いている最中、CapCutにSeedance 2.5が世界展開されました。一度に30秒生成でき、最大50件の参照素材を扱え、映像の一部分も編集できるそうです。
私が10日かけて54秒作っている横で、動画AI業界はさらに加速しました。
それでも私は、たぶん明日も33ミリ秒を動かしています。
#生成AI #AI #ChatGPT #Grok #PolloAI #CapCut #動画制作 #動画編集 #MV制作 #AI動画 #iPadPro #クリエイター #音楽 #HumanOnTheLoop #黒パグ
テスト公開中のYoutube
おまけ
動画にはね……
