ミュージックビデオ版 「We Are The AI - 人とAIの交差点」 制作日誌 Part 1
以前セルフ出版した本「We Are The AI - 人とAIの交差点」を、AIを使って英語歌詞の音楽動画にしました。(日本語字幕あり)
内容や著書については動画の説明欄または以下の記事をご参照ください。
では敬語の使用は一旦中止し、制作日誌を書き連ねていきます。
動画を作ったきっかけ
元々はYouTubeの音楽チャンネルとは別の、語り系チャンネルにナレーション付きのスライド動画として公開した作品で、結果的に書籍化も出来そうだったので本も出版していた。(現在は語り系チャンネルは削除済み)
本というものを出版してみたかったのと、時間かけて作ったのでYouTubeだけじゃもったいないと思ったのが書籍化の動機だった。
今回英語の歌詞でミュージックビデオ化したのは作品のグローバル化が目的だった。書籍の翻訳はさすがに自力+自動翻訳では無理なので翻訳者を雇う必要があったけど金が無かったし、交渉が苦手でつい遠慮しちゃうのが嫌だった。
ここ数年の音楽・画像生成AIの発展も強力な後押しになった。元々、音楽を通じていろんなこと(本来ブログや語り動画でやるようなことも含む)を世界に向けて発信したいという願望があり、AIによってそれがようやく少し実現した。(日本語オンリーまたは英語ペラペラなら弾き語り系のシンプルな動画でいろいろ表現出来るが、カタコト英会話のオレはAIに委託する必要があった。)
歌詞の作成
まず著書を読み返しながら要点をリストアップし、それを元に日本語の歌詞を書いた。歌詞もAIで生成することはできるが、今回は著書が元になっていたので自分で書いたし、基本的に歌詞や文章は思いつくままに自分で走り書きしちゃった方が早い。あくまでヒントを得るためにちょっと使うだけに留めてる。
日本詩をGoogle翻訳の助けを借りながらカタコト英語にし、最終チェックをCopilot氏に依頼した。特に、基本をおろそかにする悪い癖によって"a"と"the"、"that"と"which"の使い分けがいまだによく分からなかったので教えてもらった。自分の過去の英語曲の歌詞とか説明文も間違ってたことに気付き、恥ずかしかった。表現の代替アイデアや、韻を踏むためのアイデアなども提示してもらった。
SUNOで楽曲生成
次に音楽を楽曲生成AIのSUNOで作った。
どういう曲調にするか決めてなかったが、SF的な作品なので当然テクノ/エレクトロ系の要素は必須だった。人類史とか古代とかの単語が登場し、アナログな人間とデジタルなAIが交差する作品なのでノスタルジックな要素も加えたく、ジャズを採用することにした。
テクノポップとジャズを合わせた曲を生成したり、最近はNew OrderやBlondieなど80年代のニューウェーブ/ポストパンク系の音楽をよく聴くのでブロンディっぽい曲もいいなと思い、入力文を微妙に変えながら調整していった。(司令文に直接"like Blondie"のようにバンド名を入れると拒否される。) 普段ギター曲をやってる反動から、ギターを「含めない」リストの項目に追加した。代わりにトランペットをフィーチャーすることにし、「featuring female rap and trumpet」という文を司令文に追加した。
ヴァース(いわゆるAメロ)はラップにしたかったので女性ラップを指定した。男性ボーカルでも良かったが、ブロンディみたいにしたかったこと、以前のAI曲"Jump out of the Social Cage"で採用した女性ラップが気に入ってたこともあり、女性ボーカルにした。男性ボーカルを「含めない」リストに追加したが、バグ？により無視されることが多かった。
SUNOのカスタム入力の画面には、歌詞や[Verse]などの追加タグを入力する欄と、曲の特徴や概要を入力する欄があるが、歌詞欄の各セクションの上部に[Verse, energetic Female Rap]のようにタグを追加した。あまり追加命令が多いと無視されるようなのでシンプルにすることを心掛けた。それでも無視されることも多かった。この曲に限らず、ヴァースとコーラス(サビ)以外の部分を[Hook][Pre-Chorus][Bridge]のどれを使うべきか悩まされる。
SUNOでは自分の生成ライブラリの曲につけた👍🏻👎🏻による学習がかなり影響するので、似せたくない曲の👍🏻は無効にした。似たような曲の制作を一つの独立したワークスペースで行うとか、他の曲から曲調などをコピーする機能などもあるが、今回はほとんど使わなかった。
微妙に司令文を変えながら生成してるうちに、今回YouTubeで公開した、ミステリアスな雰囲気のガールズラップ / 初期のダンスミュージック風 / ポップなスウィングジャズ の3つのお気に入り曲に絞られた。
歌詞についても、どの曲でも字余りや言葉足らずになってしまう箇所は修正した。
Proプランでは2,500クレジット(一曲の消費クレジット5 × 500曲分)が付与されるが、一回の生成で2つのバージョンが生成されるので、結構あっというまに消費していってしまう。コツを覚えて気をつけながら上手く使えばまあ少なくはない付与数ではあるが、まだ初心者なのでかなり無駄遣いをしてしまった。
歌詞は1番と2番があったが、とりあえず1番だけで生成した。あんまり長くなると司令が上手く通らなかったり、曲が途中で終わってしまったりするのも理由だった。
苦労した2番の生成と編集作業
1番の生成までは概ね順調だったが、問題はそれからだった。ライブラリ内の👍🏻を、作りたい曲の1番だけに付け、1番のアウトロ部分から延長する形で2番の生成に挑んだ。(延長させたい曲を選択→「Create」→「Extend」で延長モードに入り、延長を開始したい時間を入力する)
単に1番と全く同じような感じで作ってくれればいいのに、余計なアレンジを加えられることが多く、むしゃくしゃしながらクレジットを消費していった。一部分はOKなのに他がダメ、というパターンがほとんどだった。
なかなか丸ごとOKなバージョンを生成できなかったので、OK部分を含む曲を全てダウンロードし、音楽制作(DAW)アプリのCubasisに取り込んで切り貼り編集した。
しかし途中で曲調が変わったりドラムの音が変わったり、OK部分を挿入する前の部分の"伸ばし音"が途切れるなど、いろんな問題に直面した。SUNOでは曲をボーカルだけのトラックとボーカル以外のトラックに分けてダウンロード出来るが、完全なものではなく、楽器トラックに微妙にボーカルが含まれたりしていて、実用性に欠ける部分があった。それでも一部の箇所では1番の歌無し版に2番の歌のみ版を重ねることにした。
この作業をお気に入りの3曲でやったが、その時にそれぞれテンポが違うことに気付いた。生成時にBPMを指定していたが、それが反映されたのは1曲だけだった。これは音楽の編集には差し支えなかった(それぞれの曲の1番と2番でテンポが違ったわけではないので) が、後の動画編集には重大な支障をきたし、結果的に1曲だけをアニメーション化し、他の曲は静止画で妥協することになった。(アニメーションのタイミングを手動でチマチマ変える必要があった為)
いろいろ問題に遭遇したが、とりあえず3曲すべてフルバージョンを制作することが出来た。編集にあたって、EQ調整や音の左右の位置調整も少し試みたが、めんどくさかったし、変にいじらないほうが良さそうだと判断し、音量を上げるためにリミッターとノーマライザーだけ使用した。
しばらく悦に浸りながら完成した曲を聴いていたが、何箇所か歌詞が間違ってることに気付いた。入力の段階でミスした部分(複数形と単数系の間違えなど)と、入力は正しいがAIが勝手に歌詞を変えた部分があった。
これを修正するために再び生成作業と切り貼り作業をするはめになった。途中でめんどくさくなり、間違え詞と正規詞の二つを重ねて妥協したりした。最優秀賞曲は細かく修正したが、他の2曲はもうめんどくさいから修正せずに公開することにした。
以上でなんとかAI楽曲は完成できた。次に画像を用意する必要があった。
動画と画像の構図を練る
もう健康状態がすぐれなかったり時間的余裕もなかったのでシンプルにサクッと作っちゃいたかったが、AIの操作に慣れてなかったこと、やり出すといろいろこだわってしまうこともあって結構時間がかかってしまった。
横断歩道を人とAI(ロボ/アンドロイド)がすれ違っていく、という構図は初めから頭の中にあった。 横断歩道画像に関しては当初はUnsplashなどの無料ストック画像(リアル写真)を使う予定だった。そこにベクター系の人とAIの画像を重ねようとしていた。
しかし全体の統一感に欠けていたので、今度は人とAIのベクター画に合わせるために、横断歩道写真をAdobe Captureアプリでベクター化したり、画像編集アプリ(ProKnockoutを常用)のエフェクトでイラスト化したりするのを試みたがイマイチだった。
結局、横断歩道のある風景のベクターイメージをAIで生成しようという方向に舵を切った。横断歩道や機械語の「0と1」を表現するためにモノクロ動画にすることにした。
画像生成サービスはいろいろあるが、とりあえずnoteとの連携機能もあって無料トライアルもあるCanvaを使うことにした。
Canvaを使った風景画像の生成
Canvaは無料でも生成クレジットが付与されるが、小さい正方形画像しか作れなかった(はず)なので有料プランのトライアルに登録した。
noteのアイキャッチとは違って詳細に作る画像生成は慣れてなかったのもあってだいぶ苦戦した。Canvaではアップロードした画像や生成履歴の画像を、生成のための参考画像として使うことができるので、横断歩道風景に関してはモノクロ化したリアル写真をアップし、それを元に生成させたりした。生成済みの画像を参考にする場合もあった。
だいぶ生成クレジットを浪費したが、使ってるうちにコツが分かってきた。それでも見当違いな画像が生成されることも多々あった。特に、余計な物を追加されるパターンが多かった。除外要素の司令を出しても、それを追加要素と誤認されることも少なからずあった。
横断歩道上には人がいないが、奥の方や左右の歩道には人や車がいる、という構図の生成には苦労した。他の生成系AI同様、あんまり説明(プロンプト)が長すぎると全てを考慮してくれなくなる。
どういう景色の画像を使うかについてはそこまで悩まず、歌詞を参考にして作った。 ビートルズのアビーロードのパロディシーンは、「ビートルズ」などの固有名詞が含まれるとNGになるので、「手前に横断歩道のあるノスタルジックな通り。白黒のベクターイメージ。奥には丸型のレトロな車やパトカーが止まっている。道の横にはレコードショップが並ぶ。」のように入力した。
奥にモアイが並ぶシーンでは、「モアイが並んでいる」だけでは文字通り一列にズラーっと並んでしまうので「いろんな向きのモアイが不規則に置かれている。倒れたモアイもある。」のように記述した。 同様に、ロボットがいるシーンもロボットの集団が奥で待ち構えているような画像が生成されたりすることがあった。
一部の画像では建物の看板などの文字を消して上から新しいテキストを加える作業をする必要があった。新しいテキストは著作権保護のためのウォーターマークとしても使えるように自分の名前をいじった文字列にした。自分の代表曲でnoteのトップ画にも使ってる「Live Like a Ghost」を略した「L.L.GST」という文字もひそかに織り込んだ。奥行きの角度調整にちょっと苦戦した。
人とロボットの生成と編集
人とロボット画像は、歩いてるように見せるために手足の位置が異なる2枚の画像を生成したかったが、これが難題で、最終的には諦めて1枚のみ生成することになった。
「真横から見た、フードを被った男性が歩いている姿。黒いシルエット。白い背景。1歩ごとに描いた4つの画像。それぞれ手足の位置が異なる。」などのように入力しても、全く同じポーズの画が並んでるだけの画像が生成されることが多かった。 「手足の位置を逆にした2枚の画像」と書くと単に画像を左右反転させただけの画像が生成されてしまった。
そんなわけで難しく、どっちにしろ全てのキャラで二つのバージョンを用意するのは面倒だったので妥協して1枚だけを使うことにした。場合によっては「シンプル」という単語も入れる必要があった。
「人間の女性とロボットの子どもが手を繋いで歩いている姿」で入力すると、女性もロボットになったり、なぜか二人の女性が生成されるなどのエラーも何度かあった。
「黒いシルエット」ではなく、「白黒のベクターイメージ」で生成し、全体像は白で顔などのパーツは黒で描くというのも試したが、シルエットの方がミステリアスな雰囲気やインパクトを出せるのでシルエットにした。単にその方が楽だというのもあった。白人を黒塗りにすることには特に意味を持たなかったが、結果的に(良くも悪くも)いろんな解釈が出来る雰囲気になった。まあ何にせよ、日本人のオレには関係のないこと。
どんなキャラを使うかは、歌詞を元に決めていった。最近マイブームになっていたシャーロック・ホームズ氏をひそかに登場させた。
背景画とちがって1000×1000ピクセルくらいの正方形画像でも良かったので、Canvaではなく、クレジット制限がない(が正方形しか作れない)Copilotを使うことも多かった。
生成した人間&ロボ画像の背景切り抜きにはPro Knockoutを使った。白い背景を自動で切り抜くと、本体の中の白い部分も消えてしまったので復元ブラシを使ってちまちまと手動で復元させた。
横断歩道と人間のアングルが合わないことがあったので変形して修正した。
黒シルエットを切り抜くと、背景画の黒い部分と重ねた時に輪郭が見えなくなってしまうので、同アプリの影付け機能を使って白い影(輪郭)を付けた。全体の輪郭を白くすることも考えたが、左右どちらかだけに付いていたほうがカッコいいのでそれを採用した。
ちなみにこの作業は大企業のビルの、一般人のために解放された、同企業の社員も利用している1階のフリースペースで行なっていた。元・引きこもりニート/生活保護受給者で現・Uber Eatsの運び屋のアーティストには場違いな空間であったが、小綺麗なシャツ(500円の古着)とダイソーのネクタイ姿、そして相手や空気に合わせて変化する精神を活用して潜伏することに成功した。
楽曲と画像を用意出来たのであとはそれを組み合わせて動画を作るのみとなった。
つづく
いいなと思ったら応援しよう！
私はあなたを応援しています。