【IrodoriTTS】 もはやナレーターはAIで充分か！？｜ComfyUI

最近、「ナレーションってもうAIでよくない？」って思うことが増えてきました。

これまでは、動画のクオリティを上げるためには
・プロのナレーターに依頼する
・自分で頑張って収録する
この2択が当たり前でした。

でも今、状況が一気に変わりつつあります。

今回試してみたのは、ComfyUIで使える音声生成ツール「IrodoriTTS」。
正直に言うと、「ここまで自然に喋るのか…」とちょっと驚きました。

しかもただ読み上げるだけじゃなくて、
声の雰囲気や話し方までコントロールできる。

この記事では、
・実際にどこまで使えるのか
・どんな設定をすれば自然になるのか
・人間ナレーターと比べてどうなのか

このあたりを、実際に触ってみた体験ベースでまとめていきます。

1. この記事の前提環境

本記事は、Stability Matrix上にComfyUIを導入した環境を前提に解説しています。
同じ環境を用意したうえで解説通りに進めたい方は、まずはこちらのYouTube動画を参考にしてください。

2. 必要モデルとカスタムノードのインストール

2.1. ComfyUI_IrodoriTTS_Wrapperのインストール

コマンドプロンプトを開き「D:\StabilityMatrix-win-x64\Data\Packages\ComfyUI\custom_nodes」に移動する。

「git clone https://github.com/jupo-ai/ComfyUI_IrodoriTTS_Wrapper.git」を入力しインストールします。

2.2. Pythonライブラリのインストール

上記に続けて実施する。
「D:\StabilityMatrix-win-x64\Data\Packages\ComfyUI\venv\Scripts\activate」を入力し、仮想環境を有効化する。

「pip install -r ComfyUI_IrodoriTTS_Wrapper/requirements.txt」を入力し、Pythonのライブラリをインストールする。

「pip install peft」を入力し、Pythonのライブラリをインストールする。

2.2. IrodoriTTSモデルのインストール

「https://huggingface.co/Aratako/Irodori-TTS-500M/blob/main/model.safetensors」にアクセスし、モデルをダウンロードする。

ダウンロードしたファイル名を「model.safetensors」から「irodoriTTS.safetensors」にリネームし、「D:\StabilityMatrix-win-x64\Data\Packages\ComfyUI\models\checkpoints」に配置します。
※リネームは任意です。ノードで選択する際に分かり易い名前にしています。

3. テキストから音声を生成してみる（サンプル音声無し）

空のワークフローを開きます。

任意の場所でダブルクリックしてノード検索メニューを表示し、検索欄に「IrodoriTTS Model Loader」と入力します。

「IrodoriTTS Model Loader」を選択します。

ノード検索メニューを表示し、検索欄に「IrodoriTTS Reference Audio」と入力します。

「IrodoriTTS Reference Audio」を選択します。

ノード検索メニューを表示し、検索欄に「IrodoriTTS Advanced CFG」と入力します。

「IrodoriTTS Advanced CFG」を選択します。

ノード検索メニューを表示し、検索欄に「IrodoriTTS Rescale Config」と入力します。

「IrodoriTTS Rescale Config」を選択します。

ノード検索メニューを表示し、検索欄に「IrodoriTTS Sampler」と入力します。

「IrodoriTTS Sampler」を選択します。

ノード検索メニューを表示し、検索欄に「オーディオ保存」と入力します。

「オーディオ保存（MP3）」を選択します。

各ノードを以下の通り繋ぎます。
※今回は「IrodoriTTS Reference Audio」は使用しません。

「IrodoriTTS Sampler」に以下のテキストを入力します。
===============================
静かな森の中に、朝の光が差し込みます。
葉の隙間を抜けるかぜは、やさしく木々を揺らし、
小さな命たちが、新しい一日を迎えています。
===============================

その他のパラメータはそのままでOKです。
実行すると、入力したテキストを読み上げた音声が生成されます。

4. テキストから音声を生成してみる（サンプル音声有り）

次に、サンプルとなる音声を使用して生成してみます。
「IrodoriTTS Reference Audio」にサンプルとなる音声データを指定します。※音声データの長さは15秒前後あれば十分です。

実行すると、入力したサンプル音声の声でテキストを読み上げた音声が生成されます。実際にどんな感じで生成されるか確認したい方は以下の動画をご視聴ください。