見出し画像

【AIが“音”の監督に】もう効果音探しは不要。最新AI「HunyuanVideo-Foley」で、ハリウッド級の音響を“ワンクリック”で付ける方法【ComfyUI】

ハカセ アイ (Ai-Hakase)🐱YouTube × 記事でトレンドAIを解説する為のnote🐾

どうも皆さん！ 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、AIが生成した 無音の動画 に、まるでプロの音響監督がついたかのように、 リアルな効果音を“全自動”でつけてくれる 、とんでもない最新AI技術、 `HunyuanVideo-Foley` です！

https://x.com/TencentHunyuan/status/1960920482779423211

動画クリエイターの皆さんなら、一度は経験があるはずです…。
「映像は完璧なのに、なんだか物足りない…」「このシーンに合う効果音、どこで探せばいいんだろう…」
そんな、地味で、でもとっても大切な「音」探しの旅に、 今日、終止符が打たれます！

https://x.com/TencentHunyuan/status/1960920482779423211

今回の記事を読めば…

  • 「え、無音の動画に、AIが自動でピッタリの効果音をつけてくれるの！？」と驚く、 AIによる全自動・音響効果生成技術 の全貌がわかります！

  • 「シャワーの音」「街のざわめき」…AIが 映像を“見て”、テキストを“読んで” 、最適な音を創り出す、魔法のような仕組みが理解できます！

  • この革命的な技術を、 ComfyUIを使って誰でも無料で試せる 具体的な方法まで、まるっと知ることができます！　　

ということで今回お話しする内容はこんな感じです！

1.　 【衝撃】 もう効果音探しは不要に？！AI動画に“命の音”を吹き込む`HunyuanVideo-Foley`！
2.　 【超簡単】 ComfyUIに神ノード登場！今日から皆さんも“音の魔法使い”に！
3.　 【未来の制作フロー】 AI動画 × AI音響！組み合わせで広がる無限の可能性！

なお、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

https://www.youtube.com/%40AI-Hakase

また、今回の動画版はレンダリングが終了し次第、こちらにて公開していますので、動画派の方はぜひご覧ください！

https://note.com/ai_hakase/m/m093618cdf798

それでは、本日もよろしくお願いします！


【解説】HunyuanVideo-Foley - AI動画は、ついに“音”を手に入れた

`Foley`ってなぁに？から始めよう！

皆さん、映画やアニメを見ていて、「この足音、リアルだなぁ」「雨の音が心地いい…」なんて感じたことはありませんか？

実は、そういった映像の中のリアルな効果音の多くは、 `Foley（フォーリー）` と呼ばれる、専門のアーティストさんたちが映像に合わせて後から付け加えた「命の音」なんです！　　

映像のリアリティや没入感は、この`Foley`が作っていると言っても過言ではないくらい、とっても大切な工程なんです！

これまでも、AIが音を生成する技術はありました。例えば、以前こちらの記事でご紹介した`MM-Audio`も、テキストから様々な音を作れる素晴らしい技術でしたよね！
https://szczesnys.github.io/hunyuanvideo-foley/

▼`MM-Audio`の解説はこちら！
https://note.com/ai_hakase/n/n8354f6b6371f

でも、`HunyuanVideo-Foley`の革命的なところは、ただ音を作るだけじゃないんです。　　

まるで プロの音響監督のように、映像全体の文脈を理解して、ダイナミックで、奥深く、ハリウッド映画のような音響効果を“自動で”付けてくれる という点なんです！　　

実際に使ってみると、そのクオリティの高さに、きっと皆さんもびっくりすると思いますよ…！　　


開発元は？ - Tencent Hunyuan

このとんでもない技術を開発してくれたのは、世界的IT企業である Tencent の研究チーム「Hunyuan」さんです！

https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley

そして、本当に素晴らしいことに、この革命的なモデルを オープンソース（Apache 2.0ライセンス） で公開してくれているんです！
これなら、私たちクリエイターも安心して、新しい表現にどんどんチャレンジできますよね！

HunyuanVideo-Foleyの“ここが革命的！”な3つのポイント

「じゃあ、具体的に何がそんなにすごいの？」
その革命的なポイントを、3つに絞ってご紹介します！

①【映像を“見て”音を創る！】マルチモーダルな理解力

このAIの最大の秘密は、 映像 と テキスト の両方を同時に理解できる 「マルチモーダル」 という能力にあります！

例えば、皆さんが「雨が降る森の中を歩いている」動画をAIに見せたとします。
`HunyuanVideo-Foley`は、まず映像から「あ、これは森だな」「雨が降っているな」「人が歩いているな」という情報を “見て” 理解します。

そこに、皆さんがテキストで「強い風が吹いている」とヒントを与えると、AIはその言葉を “読んで” 理解します。

そして、その両方の情報を組み合わせて、 「森の木々がざわめく音」＋「地面を踏みしめる足音」＋「雨音」＋「強く吹き抜ける風の音」 といった、　　

完璧にシーンにマッチした、奥深いサウンドを創り出してくれるんです！
すごくないですか！？　　

②【10万時間の学習データ】圧倒的な音の引き出し

「でも、そんなにピッタリな音を、どうやってAIは見つけてくるの？」
その答えは、AIが勉強した データの量 にあります！
`HunyuanVideo-Foley`は、なんと 10万時間以上 もの、膨大な動画と音声のペアデータで学習しているんです！

もう、AIの頭の中には、 ありとあらゆる状況の「音の巨大な辞書」 が入っているようなものなんです！
だから、自然の風景の繊細な音から、アニメのコミカルな効果音まで、どんな動画にも柔軟に対応できるんです！

③【プロ品質】48kHzの高音質＆業界最高性能！

そして、クリエイターにとって何より嬉しいのが、その品質の高さ！　　

生成される音声は、 48kHz という、プロの音楽制作や映像制作の現場で使われる CD以上の高音質 なんです！　　

さらに、客観的な評価でも、既存のオープンソースモデルをあらゆる指標で上回り、 「業界最高性能（SOTA: State-of-the-Art）」 を達成しているとのこと！
もう、品質については何も心配いりません！

【最速体験】まずは公式デモで“音の魔法”に触れてみよう！

「葉加瀬さん、話を聞いていたら、早くこの魔法を体験したくて、うずうずしてきました…！」

わかります！その気持ち！　　

ということで、難しいことは一旦抜きにして、まずはこの`HunyuanVideo-Foley`の凄さを、誰でも 一番簡単に体験できる方法 をご紹介します！　　

それが、 Hugging Faceで公開されている公式のWebデモ です！
アカウント登録なども不要で、ブラウザから直接、この神技術を試すことができるんです！

▼Hugging Face 公式デモはこちら！
https://huggingface.co/spaces/tencent/HunyuanVideo-Foley

使い方はとってもシンプル！

1.　音を付けたい 動画ファイルをアップロード して、
2.　どんな音が欲しいか、 簡単な英語でテキストを入力 して、
3.　 「Generate Audio」ボタンをクリック するだけ！

たったこれだけで、皆さんの無音動画に、AIが命の音を吹き込んでくれます！
ぜひ、お手持ちの動画で、この感動を味わってみてください！　　

【実践編】ComfyUIで、皆さんも“音の魔法使い”に！

ComfyUIで、もっと本格的に使いこなそう！

公式デモの凄さ、体験していただけましたか？　　

「私の動画にも、こんなにピッタリな音がつくなんて…！」って、きっと感動していただけたはずです！　　

さて、ここからは、この神技術をもっと自由に、そして本格的に使いこなすための ComfyUIでの方法 を解説していきます！
「もっと長い動画に音を付けたい！」「他のAI動画生成と組み合わせたい！」そんな、クリエイター魂あふれる皆さんのための、次のステップです！

ComfyUIって何？という初心者の方へ

「葉加瀬さん、そもそもComfyUIって何…？」「インストールとか難しそう…」
そんな方も、ご安心ください！

`ComfyUI`は、ノードというブロックを線で繋いで、AIの複雑な命令をパズルのように組み立てられる、とってもクリエイティブなツールなんです！

そして、導入が不安な方のために、私が ワンクリックでComfyUIをインストールできる方法 を、こちらの記事と動画で徹底的に解説しています！本当に知識ゼロでも大丈夫なので、ぜひ参考にしてみてください！

▼ワンクリックでComfyUIを始めよう！

“神”カスタムノードが、もう２つも登場！

`HunyuanVideo-Foley`がリリースされてから、まだほんのわずかなのに…なんと、世界中の有志の開発者さんたちの手によって、早くも 2種類ものComfyUI用カスタムノード が公開されているんです！
こういうスピード感も、オープンソースコミュニティの素晴らしいところですよね！

▼カスタムノード① (aistudynow版)

どちらも素晴らしいノードですが、今回はサンプルワークフローが充実している 「if-ai版」 を使って解説していきます！

▼カスタムノード② (if-ai版)
https://github.com/if-ai/ComfyUI_HunyuanVideoFoley

導入から実行までの簡単4ステップ！

それでは、実際にComfyUIに`HunyuanVideo-Foley`を導入して、音を生成するまでの流れを、3つの簡単なステップで見ていきましょう！　　

いつもはハンズオン形式で必要なモデルの自動ダウンロードとか動画の自動リサイズとか日本語で簡単にプロンプトを自動生成したりなど、便利にカスタマイズしてから皆さんにお渡しして解説していくんですけども、今回は主に概要の方を伝えたいので、まずシンプルに紹介していきたいかと思います！

ステップ①：サンプルワークフローをドラッグ＆ドロップ

まずは、開発者さんが用意してくれている、お手本のワークフローをダウンロードします。
下のリンク先に、いくつかサンプル（`example_workflows`）があるので、一番シンプルな`hunyuan_foley_single_video.json`をダウンロードしてみましょう！

▼サンプルワークフローのダウンロードはこちら
https://github.com/if-ai/ComfyUI_HunyuanVideoFoley/tree/main/example_workflows

ダウンロードしたら、そのJSONファイルをComfyUIの画面に ドラッグ＆ドロップ するだけ！

すると、こんな風に必要なノードが全部セットされた状態で、ワークフローが自動的に読み込まれます！便利すぎますよね！

ステップ②：不足ノードを自動インストール

もしかしたら、ワークフローを読み込んだ時に、いくつかのノードが赤色で表示されるかもしれません。でも、慌てなくて大丈夫です！

ComfyUI Managerの「Install Missing Custom Nodes」ボタンを押せば、足りないものを自動で探してインストールしてくれます！インストールが終わったら、一度ComfyUIを再起動してください！

ステップ③：動画とプロンプトを設定して実行！

さぁ、準備は整いました！
あとは、こちらの赤枠で囲ったところに、 音を付けたい動画 を読み込ませて…

こちらのノードに、 どんな音が欲しいか簡単な英語のプロンプト を入力して、実行ボタンを押すだけです！

ちなみに、このカスタムノードはとっても賢くて、`HunyuanVideo-Foley`に必要なモデルも、 実行時に自動でダウンロードしてくれる んです！
もし手動でインストールしたい場合は、こちらのリポジトリからダウンロードできます。

▼手動インストール用のモデルはこちら
https://huggingface.co/tencent/HunyuanVideo-Foley

たったこれだけで、皆さんの無音動画に、命が吹き込まれるんです！
どうですか？まるで魔法の呪文を唱えるみたいに、簡単ですよね！　　

【応用編】AI動画 × AI音響！未来の制作ワークフロー

ComfyUIで`HunyuanVideo-Foley`の基本的な使い方がわかったところで、ここからはさらに一歩進んだ、クリエイターの皆さんなら絶対にワクワクしちゃう、 未来の制作ワークフロー をご紹介します！

AI生成動画との最強タッグ！

`HunyuanVideo-Foley`の本当のすごさは、他のAI動画生成技術と組み合わせた時に発揮されます！
`Wan S2V`や`Fantasy Portrait`で作ったAI動画って、基本的には「無音」か「キャラクターのセリフのみ」ですよね？
そこに、`HunyuanVideo-Foley`で 「環境音」や「効果音」 を付け加えることで、 映像も、セリフも、効果音も、すべてAIが作り出す という、まさに 「完全AI制作」 のワークフローが完成するんです！

「ちょっと何を言っているのかわからない…」という方もいるかと思うので、具体的に2つの作例パターンをご紹介します！

作例①：1枚の絵から“音付き”アニメーションを作る！

1.　 まず、`Qwen Image Edit`で動画の「始まり」と「終わり」の絵を作ります！

  • `Qwen Image Edit`は、AIで画像編集ができるモデルなんですけども、1枚の画像から、別の角度や構図の画像を生成してくれる、とっても便利なAIです！これを使って、キャラクターの「動き始め」と「動き終わり」の2枚の絵を用意します。

▼`Qwen Image Edit`の使い方はこちら！
https://note.com/ai_hakase/n/n80c120087dbc

2.　 次に、`FLF2V`で2枚の絵の間を“動画”にします！

  • `FLF2V`は、始まりと終わりの絵を指定すると、その間の動きをAIが滑らかに補間して、無音のアニメーション動画を作ってくれる技術です！　　

▼`FLF2V`の詳しい解説はこちら！
https://note.com/ai_hakase/n/n5f9da9e09d6c

3.　 最後に、`HunyuanVideo-Foley`で“音”を付けたら完成！

  • 出来上がった無音のアニメーション動画を、今回ご紹介した`HunyuanVideo-Foley`に読み込ませて、「キャラクターが走る足音」「風の音」といったプロンプトを入力すれば、命が吹き込まれたかのような音付き動画が完成します！　　

作例②：“口パク動画”に、リアルな環境音を追加する！

1.　 まず、`Wan S2V`でキャラクターが喋る“口パク動画”を作ります！

  • `Wan S2V`を使えば、音声データからキャラクターが自然に喋る動画が作れますよね！　　

▼`Wan S2V`の詳しい使い方はこちら！
https://note.com/ai_hakase/n/nc3c6b240bfe7

2.　 そこに、`HunyuanVideo-Foley`で“環境音”を重ねる！

  • 出来上がった口パク動画には、キャラクターの声しか入っていません。そこに、`HunyuanVideo-Foley`を使って、「カフェのざわめき」「雨が窓を打つ音」「風の音」といった環境音を追加してあげることで、一気に動画のリアリティと没入感が高まるんです！　　

実は、こうした複数のAI技術を組み合わせる手法は、すでに世界のトップクリエイターたちが実践しています！
ComfyUIが主催する「Comfy Challenge」の優勝作品も、動画生成、画像編集、そして`Hunyuan Foley`による音響生成といった、様々な技術を組み合わせて作られているんです！

▼参考：ComfyUI Challengeのポスト

　　

こんなことにも使えるかも？活用アイデア！

この「AI動画 × AI音響」のワークフロー、皆さんの活動にもきっと役立つはずです！

  • Vlogger・配信者の皆さんなら…

  • お部屋で撮影しただけの動画に、後から「賑やかなカフェの環境音」や「しとしとと降る雨の音」を追加して、動画の雰囲気を自由自在に変えられます！

  • アニメーターの皆さんなら…

  • 作画したキャラクターが歩いたり、物を置いたりする動きに合わせて、AIにリアルな効果音を自動で生成してもらえます。音響制作の時間が劇的に短縮されます！

  • ゲーム開発者の皆さんなら…

  • 開発中のゲーム画面の動画をAIに読み込ませて、「森の環境音」「モンスターの足音」「剣がぶつかる音」といった効果音の試作品を、爆速で作成できます！

もう、アイデア次第で可能性は無限大ですよね！

おわりに

いかがだったでしょうか！今回は、AI動画に“命の音”を吹き込む魔法の技術、`HunyuanVideo-Foley`について、その驚きの性能からComfyUIでの簡単な使い方まで、徹底的に解説しました！

今回のポイントをぎゅぎゅっとまとめると、こういうことでした！

1.　`HunyuanVideo-Foley`は、 無音動画にAIが自動で効果音をつけてくれる 魔法の技術！
2.　 映像とテキストを理解 し、 プロ品質の高音質 な音を生成してくれる！
3.　 ComfyUIの神ノード や 公式Webデモ で、誰でも簡単に試せる！

皆さんは、この技術「HunyuanVideo-Foley」をどんな風に使ってみたいですか？

コメントは全て見ているので、皆さんの思ったことや今回の感想をぜひコメント欄でお聞かせください！

今回の記事と動画、楽しんでいただけましたか？

さて、今回の記事と動画、いかがでしたでしょうか？「参考になった！」と思っていただけたら、 Note のフォロー・いいね・グッドボタンの3つも是非よろしくお願いします！

https://note.com/ai_hakase

Youtubeのほう も、まだの方は チャンネル登録 をしていただけると嬉しいです！

https://www.youtube.com/%40AI-Hakase

また、最近は、 海外のAI関連書籍をオーディオブック形式で分かりやすく要約してご紹介 しています⋯！「海外の最新トレンドを知りたい！」という方や、「AI技術のマネタイズ方法に興味がある！」という方には、特におすすめの内容です！

最新のAI技術やマネタイズノウハウ を知りたい方は、ぜひこちらのまとめもチェックしてみてください！

https://note.com/ai_hakase/m/m48b2fac7359a

なお、 マガジン でもジャンルごとに記事や動画をまとめているので、よかったら見てみてください！

https://note.com/ai_hakase/magazines

それでは、また次回の記事か動画でお会いしましょう！

葉加瀬あいでした！バイバイ！

ここから先は

1字

あいらぼ (Ai-Lab) は、NoteとYouTubeを活用して、皆さんを「生成AIを使いこなす側…

🐾あいらぼ：記事｜動画｜ComfyUI ワークフロープラン

¥1,980 / 月
あと5人募集中

🐾あいらぼ：記事｜動画｜WF プラン（質問・サポート付き）

¥4,980 / 月
あと7人募集中
ログイン

この記事が気に入ったらチップで応援してみませんか？