自動化された最適化
もはや驚く元気もない。
MiniMaxH3が発表されたとき、手元のA100 80GBで5秒の動画を生成するのに15分かかった。
「まあ許容範囲かな」
と思った。同じくらい高度なことができるBerniniは、同じような処理に2時間かかる。4倍の高速化だ。
LTX2.3はもっと速い。速いけど、MiniMaxH3は参照画像や参照動画の数が桁違いだ。自由度が全く違う。
数日すると、MiniMaxH3を高速化するTurbo-LoRAが出た。これを適用すると生成にかかる時間は5分まで短縮された。
「やあ、さすがオープンウェイト。進化が早いね」
ここまではある程度は想定内だった。
ところがRedditにとんでもない書き込みがあった。RTX PRO 6000だと20秒で生成できるのだそうだ。もちろん解像度は粗いし他にも条件はあるが、20秒はちょっとビックリした。
「おい、うちの環境でもなんとかならんのか」
という無理難題をClaude Codeに聞いてみる。
するとこんなことを言ってきた。
「たとえば5060tiにデコーダー、A100にQwenVLを入れて分散すれば高速化できる可能性がある。試していいですか」
Claude CodeはA/Bテストをはじめ、ボトルネックがQwenVLにはないことを突き止めてガッカリしていた。
しかし僕が毎日のAIニュースで見つけた最適化手法を少しずつ教えていくと「これならうちの環境でも動くかもしれません」と、「Confy-kitchen」と「Spectrum」という手法を評価したいと言ってきた。
実際、これらで生成するとものすごく速くなる。
そのあと「私には評価できませんのでブラインドテストで評価してください」
と、比較ツールを作ってきた。
ブラインドテストなので、どれがどの手法を使ったのかは明かされない。
ただ、明らかに生成された画像には差があるので、10個くらいの比較を送信するとClaude Codeは言った。
「おどろきました。Kitchenを入れたもののほうがスコアが高く、Spectrumは全滅でした。したがってKitchenを入れましょう」
お前まで驚くんかい!
そうして、動画生成は2分まで短縮された。つい昨日まで5分もかかった処理が半分以下の時間になる。マジかよ。
いきなり計算速度が倍くらいになったので感覚がついていかない。ペースが狂うというか。
そして計算速度が上がったからと言って作業効率が上がるわけではない。
なぜなら映像制作とは、「どこで妥協するか」という作業に過ぎないからだ。制作速度が倍になるとクオリティは少し上がる。倍はあがらないが、気持ち上がる。それが1%なのか10%なのか、時には120%なのかわからないが、とにかく少し上がる。
あとは、どこまで妥協するか、どこで「とりあえずここはこれでいい」と思えるか。
その次に起きることはもっと興味深い。
「またあとで直そう」と思ってしまうのだ。
AIによる映像制作の最もヤバい部分はここである。
なぜならあとからいくらでも直せてしまうのだ。
誰もが宮崎駿みたいになってしまう。悪い意味で。つまりもともと三年で完成させる予定だったものに六年かかるような。
いつか、渋谷慶一郎に聞いたことがある。
「どうすれば名曲が作れるか」
渋谷慶一郎は作曲家でピアニストだ。人の心を打つ旋律を奏でることも、それ自体を創作することもできる。
彼は言った。
「締め切りだよ」
実際にやってみて思ったのは、たとえ脚本が一旦は完成できたように思える日が来たとしても、「いや、もっと面白くなるのではないか」という欲がどんどん出てきてしまうことだ。これは普通のブログや書籍ではありえない。書籍のゴールは出版であり、そのときの編集や校正作業というのは、どちらかとうと「出版後に文句を言われないための防御措置」であり、ブログの場合はたとえ多少間違ったことが書いてあってもあとから訂正すればいいやという程度の気楽さがある。
コマーシャル映像の場合、そもそも目的は商品の売り込みだから、商品の投入時期という締め切りがあり、ゴールは「買ってもらうこと」とハッキリしている。
ところが映画は、自己表現である。一度映画を出す、世に問う、ということは取り返しがつかないことでもある。
だからリドリー・スコットやジョージ・ルーカスのように、昔の映画をなんども編集しなおしたり、余計なCGを加えたりして台無しにしたりする。でも本人は「それが良い」と思ってるんだから仕方ない。そして映画の世界を生み出した監督といえども、ファンの全員が納得するような「蛇足にならない付け足し」をすることは至難の業だ。
昨日数えてみたのだが、この映画には17の代表的なパートがある。ざっくり言って起承転結が17回あるわけだ。これ一つにつき3分くらいの映像を作っている。3分だと少し短すぎるのだが、まあこれをそのまま信じるとすると、この映画全体で51分で完結することになる。作ってる側からすると短過ぎる。たとえばセリフだけを自動的にラジオドラマにしたときは2時間以上あった。でも動画にするとその「間」を作るのが大変になる。
間の映像を作らないといけないからね。
だからとりあえず51分の早過ぎるバージョンを作ってしまってから、あとから「このシーンはゆっくり喋らせよう」とか「ここにもう少しカットを足そう」とかやっているうちに自動的に90分くらいには膨らみそうな気はする。
が、そもそも今時映画のフォーマットって2時間も必要なのか。たまに大作で3時間っていうのがあるけど、とても見にいくのに勇気がいる。
どうせ早送りで見られるくらいなら最初から映画は50分でいいのではないか。いやまあ作ってみないとわからないけれども。
ブレードランナーも公開版よりもディレクターズカットが、ディレクターズカットよりもファイナルカットが無条件に良いとは必ずしも思えない。それはせっかく撮ったからには勿体無いから入れたい、という制作者のエゴではないか。
僕はProjectDENTの編集を通して、総延長80時間の動画を60分にまで短縮するということをなんども経験している。これは編集する側としては気が遠くなるほどの手間だ。ただ、この手間は、必要な手間なのである。
そしてそぎ落とされるシーンも、本来は「ここは面白いからぜひ使いたい」と思うようなシーンがあったとしても、テンポを優先して容赦なく切る。なぜ切るかと言えば、結果としてその方が「見やすく」なるからだ。
ProjectDENTの初期には、まず全部のシーンに字幕を入れて、字幕を入れたシーンをあとからバンバン切るという、かなり効率の悪いことをしていた。どうすれば最適なのかよくわからなかったからだ。
今はある程度短くしたもの、たとえば二時間くらいの尺に切ったものに字幕を入れてから、さらに半分に削る、なんてことをしてる。
なぜ削るかというと、やはり最初は「おいしい」と思えたシーンも、事情を知らない視聴者から見たらよくわからないシーンになってしまうからだ。またはネタバレになってしまうからである。
AI映画はその逆で、シーンが足りないからどんどん増やす。どんどん増やすからどんどんテンポが間延びしてくる。「これでいいのか?」と思いつつ、「とりあえずこれでいくか」というどこか妥協めいた気持ちがあって、とりあえず前へ進むという話だ。今のところ51分中の11分くらいはできている。1/5だ。
AIが適当に出してきたカットの総延長は90分ある。ただしこれは同じセリフを重複したり無駄が多い。素人の作るオリジナル映画で90分は長すぎだ。普通は間を持たせることができない。
ただテンポを早くし過ぎるとさすがについていけなくなる。特にこの映画は、ブロックチェーンとかクォータニオン物理学とか本当の話と完全なる嘘が混じっている。
そうすると本来は無限に時間がかかってしまう。が、そうも言ってられない。締め切りが作品を作る。とりあえず八末までにはなんとかしたい。
