【創作系日記】『異世界にゲスト神として召喚されたらしいんだが……』オーディオコメンタリー版の顛末

　こちらの日記（１）（２）の『異世界にゲスト神として召喚されたらしいんだが……』（ＲＲ）のビデオクリップを作成した件ですが、昨日の夜１９時くらいから頑張って、解説付きのバージョン（オーディオコメンタリー版）の音声を作っていました：

　……映像は、前の音楽だけバージョンと変更なしです。先の日記に書きましたように、最初にどのＴＴＳ（Test to Speech）ＡＩを使おうかと考えて、まあ、ずんだ声でも良かったんですが、あれだけ歌うＡＩが進歩しているんで、どうせなら、最新のＴＴＳを使おうと思った訳です。で、各キャラっぽい声で語らせたいと思い、Ｉｒｏｄｏｒｉ－ＴＴＳを選定しました。とりあえず、

　上記の記事他を参照して、スタンドアロン版を使った訳です＞あさぎ　あい様、どうもありがとうございます！
　
　そうしたら。まず、

uv sync --extra cu128  # NVIDIA CUDA 12.8 (Linux/Windows)

　……これをしても、ＧＰＵを使ってくれないということで、少しドツボりました。
　まあ、ＣＰＵでも数十秒で一音声作ってくれるんでアリなんですが、やっぱりＧＰＵ使いたいよね～ということで、結局、README.mdを読んだところ（まずは、よく読みましょう、でした……）、

After syncing with a backend extra, use `uv run --no-sync ...` for the commands
below to avoid re-syncing the environment without the selected PyTorch backend
extra.

　……ということで、

uv run --no-sync python gradio_app_voicedesign.py --server-name 0.0.0.0 --server-port 7861

　で、無事、ＧＰＵ使うバージョンを起動できました。私の環境でも、ＣＰＵよりかなり早く音声生成（ＣＰＵの数分の一）できます。

　……このように、かなり自然な感じで音声合成できます！　すごいですね、Ｉｒｏｄｏｒｉ－ＴＴＳ。顔文字で、口調を変更できたりもするようです。
　というわけで、選定ＯＫなんで、次は多数のセリフを一度に生成させようと思って、先の日記のサーバー版も入れました。
　その後、ＣｈａｔＧＰＴさんに、シナリオに沿ってキャラ毎の音声を生成してもらうようなコードをｐｙｔｈｏｎで生成してもらい、サーバーに投げて全ＷＡＶファイルを作ったんですが、声質が安定せず、できたファイルの中からソレっぽいものを「リファレンス音声」として、voicesフォルダー内に置き、そちらを使って生成してもらいました。それをＣｈａｔＧＰＴさんに「各WAVをstart秒の位置にそのまま加算し、最後に全体ピークで割って正規化する」ｐｙｔｈｏｎコードを生成してもらい、一個のＷＡＶファイルにしたんですが……。

　……という感じで、まあ、よっく考えなくても２分３３秒の尺に対して台詞多すぎるよねということで、また台本から作り直し――「９００字以内、数シーンまとめて」のしばりでＣｈａｔＧＰＴさんにお願いし、少し修正――同じ手順で、ようやく各ＷＡＶファイルが完成しました。ここまでで、１２時過ぎです。
　今度は、映像に合わせると（元々のシーン割からかなり編集しているので）ズレが大きく、機械的な合成だけだと無理かな～と気づき、結局、Audacityで映像のコマと合わせながらポチポチ修正して、やっとこさ最終的なWAVファイル作成しました。
　まあ、途中で、少し映像に合わなくなっている部分があるんですが……これ以上は台詞を含めた大修正が必要なんで、そもそも映像直したいし……と、ちょっと妥協（苦笑）。

　で、その後、先に挙げたＹｏｕｔｕｂｅのファイルに音声だけ追加しようかな～と思ったところ、日本語の複数音声はできない……ということに気づき、結局、オーディオコメンタリー版として別途アップした次第です。ここまでで夜中の２時……と。

　今回の教訓としては、夕食の後、お酒飲んで酔っ払った後で、なんか色々作業しない方が良いなあ～という感じでした（笑）。ね、眠い……。
　しかし、色々と、勉強になりました！　英語音声も追加したいところですが、ＴＴＳから選定するのが面倒なんで、いずれ、今度という感じでしょうか（苦笑）。
　それでは、（ふぁ～あ）また！