無料&ワンクリックで完成?! ほぼ実写の「Fantasy Portrait」で、誰でもAIだと見抜けない VTuber（？）になれる時代が来てしまった…（Alibaba開発 / ComfyUI）

【無料＆爆速】AIキャラが“実写”のように喋り出す！最新技術「Wan Fantasy Portrait」で、VTuberみたいな“なりきり口パク動画”をComfyUIで超簡単に作る方法！

どうも皆さん！ 葉加瀬あい（ハカセアイ） です！

まず、今回のNote記事の内容は 「YouTube動画版」 でも見れますので、こちらからどうぞ！

https://note.com/ai_hakase/m/m093618cdf798

ということで今回ご紹介するのは、AIキャラが“実写”のように喋り出す！最新技術「Wan Fantasy Portrait」です！

「好きなキャラクターが、まるでVTuberみたいに私の代わりに喋ってくれたらなぁ…」

そんな、誰もが一度は夢見たことがあるような未来が、ついに現実になっちゃいました！しかも、 無料 で、 超高速 で、 信じられないくらい簡単 に…！

今回の記事を読めば…

• 「え、アニメキャラが、まるで本物の人間みたいに喋ってる…！？」と驚く、 最新の“なりきり口パク動画” を 無料・無制限 で作る技術がわかります！

• カメラが動く動画でも顔がズレない、 他のAIを圧倒する“顔トレース技術” の秘密が理解できます！

• 「こんな神機能が、コピペで使えるの！？」と感動する、 葉加瀬特製のComfyUIワークフローを使った超簡単な動画生成手順 がマスターできます！　　

ということで今回お話しする内容はこんな感じです！

1.　 【衝撃】 まるでVTuber！最新AI`Fantasy Portrait`の魔法みたいな口パク動画をとくとご覧あれ！
2.　 【なぜ凄い？】 カメラが動いてもズレない！他のAIを圧倒する「顔キーポイント」技術の秘密
3.　 【超簡単】 私が作ったワークフローでOK！ComfyUIで“なりきり動画”を作る全手順！

それと、Youtube では note の内容を動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします！

https://note.com/ai_hakase

なお、 全体公開バージョン は動画のレンダリングが終了し次第、こちらのリンクからアクセスできるので、よかったら見てみてください！

https://www.youtube.com/%40AI-Hakase

それでは、本日もよろしくお願いします！

Fantasy Portrait、その無限の可能性

【衝撃映像】これが、AI動画の“新時代”です！

まずはお話しの前に、とにかくこれを見てください…！　　

どうですか…！？
まるで、このキャラクターが本当に生きているみたいに、滑らかに喋っていますよね…！　　

リアルな人間だけじゃありません。こんなイラスト風のキャラクターでも…

もう本当に、本物の人間が喋っているみたいじゃないですか？　　

こんなにリアルなのに、「中」に人間はいないんです！　　

開発元と技術の背景 - なぜ“無料”で使えるの？

「葉加瀬さん、こんなすごい技術、どうせお高いんでしょう…？」
ふふふ、そう思いますよね！でも、安心してください！

この革命的な技術を開発してくれたのは、あの Alibaba と 北京郵電大学 の研究チームさんなんです。

https://github.com/Fantasy-AMAP/fantasy-portrait

そして本当に素晴らしいことに、この技術を オープンソース（Apache 2.0ライセンス） として、世界中に公開してくれているんです！

つまり…私たちクリエイターは、この神技術を 無料 で、しかも 商用利用 までできちゃうんです！もう感謝しかありませんよね…！

Fantasy Portraitの“ここが革命的！”な3つのポイント

じゃあ、この`Fantasy Portrait`は、これまでのAI動画技術と一体何が違うんでしょうか？
その革命的なポイントを、3つに絞ってご紹介します！

①【“顔”のControlNet！】超高精度な顔トレース技術

この技術の心臓部とも言えるのが、 ControlNetみたいに顔のキーポイントを正確に追従する 、超高精度な顔トレース技術です！　　

上の動画のように、喋っている人物の動画から、目・鼻・口といった 顔のパーツの細かい動き（キーポイント）を完全に抽出 します。
そして、その動きを、 別のキャラクターの顔に寸分の狂いもなく移植 するんです！

もっと分かりやすく言うと、「キャラクターA」が喋っている動きを、「キャラクターB」が “皮を被って”完全に再現する ようなイメージですね！
だから、あんなに自然な口パク動画が作れちゃうんです！　　

②【カメラが動いても大丈夫！】驚異の追従性能

これまでの類似技術との決定的な違いが、この 驚異的な追従性能 です！　　

例えば、元の動画でカメラが手前や奥に ズームイン・ズームアウト を繰り返したり、キャラクターの顔の大きさが全然違ったりしても…

顔のパーツをしっかり認識して、完璧に動きをトレースしてくれるんです！　　

リアルな人間だけじゃなく、アニメ系のキャラクターでもこの通り！

さらに、こんな風にちょっと無茶振りかな？って思うような、顔の角度が大きく違う画像でも…

ちゃんときれいな動画として仕上げてくれるんです！　　

③【無料なのに爆速＆高品質！】クリエイターの夢を叶える性能

そして、クリエイターにとって何より嬉しいのが、この性能です！

• 無料！ : 先ほどもお伝えした通り、オープンソースなので 生成し放題 です！

• 爆速！ : なんと`Wan`モデルの高速化技術の対象になるので、これまで30分以上かかっていたような動画生成が、 たったの3〜5分 で完成しちゃいます！

• 高品質！ : 技術的には`Wan2.1`という少し前のモデルをベースにしているんですが、生成される動画は最新の `Wan2.2`に匹敵するくらい高品質 で、顔の破綻がとっても少ないんです！

今後、`Wan2.2`に正式対応したら、もっとすごいクオリティになるかもしれませんが、正直、今のままでも十分すぎるくらいの性能です…！
まさに、クリエイターの「あったらいいな」を全部叶えてくれる、夢のような技術ですよね！　　

葉加瀬特製！ComfyUIワークフローで、なりきり口パク動画を作ろう！

さて！`Fantasy Portrait`の革命的なすごさ、伝わりましたでしょうか？
「こんな魔法みたいな技術、私も使ってみたい！」
きっと、皆さんもそう思ってくれているはずです！

ということで、ここからはこの**`Fantasy Portrait`を、皆さんのPCやクラウド環境から、

ComfyUIを使って超簡単に、無料で体験する方法**を、ステップバイステップで解説していきたいかと思います！

ワークフローは少し複雑に見えますが、皆さんが実際に いじるのは、たったの3ヶ所 だけなんです！

喋っている動画 と、 喋らせたいキャラクターの画像 を1枚ずつ選んで、あとは 動画の長さを指定 するだけ！

たったそれだけで、AIが勝手にプロンプトを考えてくれたり、画像や動画の自動リサイズなど、面倒なことは全部やってくれて、冒頭でお見せしたような“なりきり口パク動画”が作れちゃうように、私が全部セッティングしておきました！

お悩み解決コーナー：参照画像、どうやって作る？

ちなみにここまでだと、そもそも参照画像を作るのが難しいという声も聞こえてくるんですけども、

「元の動画の構図に合わせて、キャラクターを生成したい！」という時は、こちらの記事で解説した`FLUX`や`ControlNet`を使う方法がとってもおすすめです！

これを使えば、動画の最初のフレームから構図だけを抜き出して、AIに新しいキャラクターを描いてもらう…なんてこともできちゃいます！

その他にも、実は今`Wan2.2`を使った`Image to Image`で、動画の最初のフレームと同じ構図の、別のリアルなキャラクターを生成する実験もやっているんです！　　

このワークフローも、もう少しきちんとでき次第、皆さんに共有したいと思っているので、楽しみにしていてください！　　

それでは実際に体験してみましょう！

ここからはまたいつものように Paperspace からワンクリックで環境構築していきます！

サクッと ComfyUI を起動しまして、またいろんなことを自動化しながら ステップバイステップ形式で解説 していきたいと思います！

ぜひ自動化の力を活用して楽をしながら、 最先端の"なりきり口パク動画"を体験 してみてください！　　

ということで、ここからは私のNoteメンバーシップ「 あいらぼ（Ai-Lab） 」の入門者さん限定でお届けしていきたいと思います！

https://note.com/ai_hakase/n/ncdcda4208fd7

人数制限 を設けているので、気になる方はお早めに以下のURLから入門して続きをご覧ください！

ということで、「あいらぼ（Ai-Lab）」入門者の皆さん、お待たせしました！早速、続きをやっていきましょう！

ワークフローの詳細解説と配布

それでは実際にこちらのワークフローを説明したりお配りしたりしていこうかと思います！

まずは、今回使用するこちらの Jupyterノートブック と ワークフロー をダウンロードしてください！
ローカル環境から実行する方は ワークフローのダウンロードだけで大丈夫 です！