歌うAIアバターがめちゃ良くなったHedraを、DomoAI・Klingと入れ替えるか悩んだ話（動画あり）

今回のお話

僕、Suno で曲を作ってリップシンク動画を作ったりするんですけど、その際に「動画生成AIツールは何が良いのかね」を前に結構悩んでて。

で、その時の結論としては、

・DomoAI：リップシンクの精度が高い、人物の動きも明るく気持ちいい
・Kling AI：リップシンクは及第点、高機能なので１つ選ぶならこれ一択
・Hedra：アバターを喋らせるツールなので、歌わせるのは荷が重い

という結論だったんだけど、あれ？ Hedra さん進化してない？

そう、２月にアップデートしていた模様。なので、Hedra の生成モデルの違いの比較と、DomoAI・Kling AI とのリップシンク動画の対決を。やっていきます。

（結論だけ知りたい人は、一番最後にGo！）

Hedra、お前いつの間に…

Hedra の新モデル

ふと気づいたら Hedra に Omnia と Avatar というモデルが追加されてました。

サッと調べた限りは、Hedra Omnia がフラッグシップモデルで、リップシンクしながら全身の演技ができるモデル、とある。
Hedra Avatar の情報は見つけにくかったけど、（というか、モデル名が "Avatar" で一般的すぎるので、このモデルについての情報だけを拾いづらい）公式情報を見ると、10分尺までの Talking heads（上半身だけの喋る人物動画）に向いているとのこと。

で、実際にAIアバターの生成画面に行ってみると。

・Hedra Omnia：15 credit / sec.
・Hedra Avatar：7 credit / sec.
・Hedra Character 3：6 credit / sec.（※旧モデル）

さすが最新モデルだけあって、Omnia は Character 3 の 2.5倍！対して Avater はわずか 1 credit の差。ってことは、Avater は軽微なアップデートで、あまり期待できない雰囲気？

やってみる。プロンプトはちょっと雑に入れてます。

あれ？ Avatar めちゃくちゃ（言い過ぎ）良いんだけど。

Hedra Character 3：No!!

まぁこれは（当然）以前と変わらず。Hedra Character 3（旧モデル）は歌わせると結構ロボットっぽい動きになることが多くて、ミュージックビデオ向けには使えないなと思っていたんですよね。（実際、使ったことがない）

Hedra Avatar：Yes!

Hedra Avatar、全然いい。Character 3 の問題点って「動きがカクカクしてる」「目の大きさが変わる」「服の動きも不自然」「プロンプト無視」と、色々あったんですが、全て改善されてます。素晴らしい。これで +1 クレジット最高なのでは。

Hedra Omnia：No!?

すいません、違う意味でロボットみたいになっちゃってます…。
ちょっとコストが高いので（）追加検証していないですが、最新モデルでプロンプトへの追従性が高いはずなので、おそらく「gentle smile」「subtle facial expressions」（優しい笑顔・繊細な表情）この辺りの表情の抑制ワードが効きすぎてるんだと思います。（多くのリップシンクツールが、標準だと派手で欧米的な表情になるので、日本人・日本語に合わせる時に入れがちなプロンプト）

補足と訂正：その後、しばらく Hedra Omnia 使ってみたけど、総じて口の動きが小さいですね。これは Kling AI で以前に検証した「既にある動画の顔に対してリップシンク処理をする」挙動にそっくり。想像でしか無いけど、おそらく Omnia は先にキャラクターを動かして、後からリップシンクしてるんだと思う。なので結論としては、Omnia は歌わせる目的での用途は限定的（シチュエーションが限られる）、です。

使えるモデルは色々

ちなみに Hedra って他社サービスも充実してるので、案外、ミュージックビデオ用途がメインなら Hedra も良いんじゃないの？という気もしてきた。リップシンク動画のコストが安い（DomoAI の半分以下）し、Kling AI Avatar も使えるから。

DomoAI vs Kling AI vs Hedra!

気になるので、やってみましょう。

①プロンプトなし
②プロンプトあり

で、やりました。（動画生成時はボーカルだけの音源でやってます）

なお、②のプロンプトは、ツールごとに ChatGPT に専用で作ってもらっています。ヘッドフォンに手を固定するのが案外むずかしいので。ChatGPT に頼んだのは以下のような感じ。

おぉぉ、、それぞれの特徴が出てる気がします。全部違って全部いい。これはもう、優劣じゃなくて好みや作りたい動画とのマッチングの領域ですね。

DomoAI

プロンプト無しだと、いつも通りカメラを見て手を振るやつが出てきます。DomoAI らしい明るさと愛嬌があっていいです。鉄板です。リップシンクも正確で、視線の外し方も上手。
プロンプトありも、しっかり手がヘッドフォンに固定されていて、全く問題ないですね。（DomoAI はプロンプト指定が案外難しくて、雑にやるとヘッドフォンから手が簡単に外れます。そういう意味ではリテイクになるリスクは高め、ですね）

Kling AI

プロンプト無しだと、曲調に合わせてなのか、よく手を動かしてますね。楽しそうで良いと思います。リズムの取り方も自然で、目線の外し方もいい。顔の表情が Kling っぽいなーと個人的には思いますが（好みが分かれると思う）、ぜんぜん悪くないです。
プロンプトありは、元々 Kling AI はプロンプトによく追従するので、心配いらない感じです。
ちなみに ChatGPT から「もっとアイドルっぽくしたい？」って聞かれて Yes しちゃったせいで、Kling AI のプロンプトだけ少し可愛い動きが入ってます。ちゃんと対応する Kling の良さも垣間見えますね。

Hedra (Avatar)

プロンプト無しだと、穏やかだけど、ちゃんと歌ってる。手を動かしたりリズムを取ったり目線を外したり、みたいなのは無いけど、しっかり歌えているので及第点ですね。Hedra Character 3 からの進化が凄い。
プロンプトありは、DomoAI と同じく、動きや表情を抑制的にするプロンプトなので（プロンプトなしと変わらず）動きは静かですが、「日本語の発音に合わせた繊細なリップシンク」という指定に、ちゃんと追従しています。プロンプト無しは口の形が少し英語っぽい。

ちなみにその後、追加で何度か生成してみたけど、やはり基本は「喋らせるAI」っぽく、身体の動きは抑制的なので、思い切って動きを指定しないとまぁまぁ棒立ちの動画になるし、指定しても限界がある感じ。なので、スタジオ録音風の動画には向いてるモデルかな、という印象。

つまり？

思ったこととしては、

• Hedra Avatar は、Character 3 から大幅に進化して「歌うリップシンク動画」として「採用できる」品質になった

  • 但し、身体があまり動かない用途に限定

• しかも、コストが安い

  • DomoAI の半額以下で、Kling AI よりも少し安い

• 長尺に対応しているので、長回しのMVが作れる可能性がある（未検証）

• Hedra Omnia なら全身の演技をさせながら歌わせられるようなので、これもMV用途として可能性を感じる（一度試したけど上手く行かなかった）

という訳で、「Hedra、案外アリやで」と思いました。

ありよりのあり？

なしよりのあり？

最後のまとめ

はい。

まぁ、、Kling AI 一択ですね！
（乗り換えるメリットは感じないので）

おあとがよろしいようで（誤用）
よかったらスキやコメント残していってくださいませ。

ではでは。