【Wan S2Vの本当の使い方】“音”から動画を作るAIが日本語リップシンクに対応。もうComfyUIで簡単に使える“最強のやり方”を教えます。

【もう迷わない】日本語リップシンクの決定版！最新AI「Wan S2V」を“高品質”で動かす、葉加瀬式ComfyUIワークフローを限定配布！

どうも皆さん！ 葉加瀬あい（ハカセアイ） です！

ということで今回ご紹介するのは、以前こちらの記事で「未来の技術が来た！」と速報でお伝えした、あの “音”が“映画”になるAI『Wan S2V』 の、待望の続報です！　　

▼前回の記事をまだ見ていない方はこちらから！
https://note.com/ai_hakase/n/n33710eb4539d

あの時はまだ「COMING SOON」だったこの神技術が、ついに…ついに…！
オープンソースで公式リリース されましたーっ！！

https://docs.comfy.org/tutorials/video/wan/wan2-2-s2v

しかも、ただリリースされただけじゃないんです！
今回の記事を読めば…

• 前回速報でお伝えした “音”が“映画”になるAI「Wan S2V」 が、日本のクリエイターにとって一番嬉しい、　　

日本語リップシンク（口パク）に高精度で対応したという最高のニュースがわかります！　　

• 「これなら私にもできる！」と感動する、 ComfyUIへの公式対応 による衝撃的な導入の手軽さと、でも 「実は公式版には“画質の弱点”がある…？」 という、ここだけの裏話まで知ることができます！　　

• そして！その公式ワークフローの “画質の限界”を完全に超え 、VRAMが少ないPCでも安定して動作し、AIが最適なプロンプトまで考えてくれる、 私（葉加瀬）が改良した“神”ワークフロー の全貌が手に入ります！　　

ということで今回お話しする内容はこんな感じです！

1.　 【朗報】 ついに公式対応！`Wan S2V`が日本語リップシンクを引っ提げてComfyUIにやってきた！
2.　 【衝撃の事実】 でも…公式ワークフロー、実は“画質”に弱点アリ…？
3.　 【完全解決】 私が改良しました！高品質＆簡単な「葉加瀬式S2Vワークフロー」徹底解説！

なお、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

https://www.youtube.com/%40AI-Hakase

また、今回の動画版はレンダリングが終了し次第、こちらにて公開していますので、動画派の方はぜひご覧ください！

https://note.com/ai_hakase/m/m093618cdf798

それでは、本日もよろしくお願いします！

ついに来た！Wan S2V公式リリースと日本語対応の真実

【速報】AI動画の新時代、ついに開幕です！

皆さん、覚えていらっしゃいますか？
以前、私がこちらの記事で「未来の技術が来た！」と大興奮でお伝えした、あの`Wan S2V`のことを…。

あの時はまだ「COMING SOON」だった、 “音”から“映画”を生み出す魔法 が、ついに現実のものとなりました！　　

そして冒頭でもお伝えした通り、`Wan S2V`が オープンソースで公式リリース され、しかも…なんと、私たちが愛用する ComfyUIにネイティブ対応（標準搭載） されたんです！

https://docs.comfy.org/tutorials/video/wan/wan2-2-s2v

これ、本当に革命的なことなんです！
これまでは、こういう最先端の技術を試すには、専門家の方が作った複雑なワークフローをダウンロードしたり、自分で難しい環境構築をしたりする必要がありました…。

でも、もうそんな心配は一切いりません！
お使いのComfyUIを最新版にアップデートするだけ で、誰でも、本当に誰でも、“音から動画を作る”という、あの未来の魔法が使えるようになったんです！

一番知りたかった“日本語リップシンク”の実力は？

「葉加瀬さん、でも、どうせ英語だけでしょ…？」
「日本語の、あの繊細な口の動きなんて、AIには無理なんじゃない…？」

わかります！日本のクリエイターの皆さんなら、そこが一番気になりますよね！　　

ですが…結論から言います！

結論：「かなり高品質にできます！でも、完璧じゃない時も…あります！」　　

【ポジティブな声】「日本語でもスゴい！」

まず、SNS上のポジティブな声としては、「日本語の歌でも自然！」「エグい再現度！」といった、そのポテンシャルの高さを絶賛する声が本当に多いです！

実際に、私も日本語の音声を使っていくつか動画を作ってみたんですけど…　　

英語の音声モデルがベースになっているとは思えないくらい、いい感じで口が動いて見ると思いました！

完璧ではないにしても、こちらのように音声に合わせてきちんと身振り手振りなんかもつけてくれてるのはさすがです！

ちなみにクレジットはこちらですね！　　

【基本編】公式ワークフローで手軽にスタート！

Step1: 公式ワークフローをダウンロード

ちなみに、使い方は公式が出しているワークフローをComfyUIで使えばとても簡単です！

https://docs.comfy.org/tutorials/video/wan/wan2-2-s2v

使い方としては、こちらのようにJSONファイルの部分をまずダウンロードしてください！

Step2: 必要なモデルをダウンロード

そしてその後に、こちらに書かれているモデルをダウンロードします。

Step3: ファイルを正しい場所に配置

配置方法については、こんな感じのフォルダに配置してください！

Step4: ワークフローを実行

あとは、こんな感じの流れで実行していってもらえば大丈夫です！

【衝撃の事実】公式ワークフロー、実は“画質の限界”アリ…？

このように簡単な公式対応のおかげで、誰でも簡単に試せるようになったのは、本当に素晴らしいことなんですけど…ここで一つ、皆さんに正直にお伝えしなければいけないことがあります。

実は、ComfyUIが公式で配布しているテンプレートのワークフロー、 「リップシンクが甘い」「謎のノイズが入る」「キャラクターが破綻しやすい」 といった、品質面の課題がコミュニティでいくつか報告されているんです…。

私も実際に試してみたんですが…

たしかに、ちょっと口の動きが音声とズレている感じがしますよね…。　　

こちらの動画も、なんだか画面全体にチラチラとしたノイズが入ってしまって、せっかくのキャラクターの魅力が半減してしまっているような…。　　

せっかくの神技術、このクオリティで「こんなものか…」と妥協してしまうのは、あまりにも、もったいなくないですか…？

もっと高品質に、もっと安定して、もっと皆さんの思い通りに、この`Wan S2V`を動かす方法が、実はあるんです！　　

葉加瀬式！高品質＆超簡単“神”S2Vワークフロー

ということでここからは、公式ワークフローの弱点を完全に克服し、 誰でも・簡単に・“高品質な”日本語リップシンク動画 を作れる、私（葉加瀬）が改良に改良を重ねた 特製ワークフロー をハンズオンで解説していきたいと思います！　　

公式版の「なんだか惜しい…」という部分を全部解消して、

• モデルデータの自動ダウンロード

• AIによる最適なプロンプトの自動生成

• VRAMが少ないPCでも安定して動く省エネ設計

• 画像の自動リサイズ
  といった、時短＆効率化のための工夫を、全部詰め込んでおきました！

ローカル、クラウド（Paperspaceなど）環境のどちらからでも動かせるようにやっていくんですけども、

初心者の方とか、ComfyUIがちょっと難しそうで自信がないなっていう方のために、こちらでたった1クリックで使い始められる方法を解説しているのでよかったらぜひ参考にしてください！

ぜひ、 私がたどり着いた“最適解” で、 最先端の日本語リップシンクを体験 してみてください！　　

ということで、ここからは私のNoteメンバーシップ「 あいらぼ（Ai-Lab） 」の入門者さん限定でやっていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

ワークフローの詳細解説と配布

それでは実際にこちらの、私が改良した特製ワークフローを説明しながら、お配りしていこうかと思います！

葉加瀬特製ノートブック＆ワークフローのダウンロード

まずは、今回使用するこちらの Jupyterノートブック と ワークフロー をダウンロードしてください！
ローカル環境から実行する方は ワークフローのダウンロードだけで大丈夫 です！
すでに私のPaperspace用ノートブックをお使いの方も、今回はS2V専用に更新しているので、必ずこちらの v3 をダウンロードして使ってください！