見出し画像

最新TTS(Tsukasa Speech)をローカルPC(CPU)で動かしてみた

あさぎ　あい

ざっくりまとめ

  • 日本語特有の表現に強い最新TTS「Tsukasa Speech」を検証

  • CPU環境でも爆速（10秒の音声が約3秒）で生成可能

  • Windows環境、ローカルで動かすための具体的な手順を確立


1. はじめに：日本語対応の「Tsukasa Speech」とは

前回の記事では、グラボ（GPU）のない普通のパソコンで「StyleTTS2」を動かす手順をご紹介しました。

今回はその続編として、より日本語に特化した「Tsukasa Speech」を動かしてみた記録です。Tsukasa Speechは、2024年の5月頃に公開された音声合成モデルです。開発されたRespair（Soshyant）さんは海外の方なのですが、日本のアニメや音声技術に対する並々ならぬ情熱を感じるプロジェクトなんですよね。

ベースとなっているのは、前回も使った「StyleTTS2」です。StyleTTS2は、声のトーンや感情、間の取り方といった「スタイル」を、画像生成AIなどでも使われる技術（Diffusionモデル）を応用して作り出すという、とても優秀なアルゴリズムを持っています。

なので、GPUがなくても十分実用的な時間で日本語を喋れます。

そして、Tsukasa Speechは「StyleTTS2に日本語をちょっと追加学習（ファインチューニング）させただけ」ではありません。

例えば、言葉のニュアンスを読み取る部分に「Whisper（高精度な音声認識AI）」の技術を組み込んだり、処理の根幹となるネットワーク（mLSTMという技術、従来の技術よりも記憶力が強化された新しい仕組み）をアップグレードしたりと、かなり本格的な「中身の手術」が行われています。ローマ字と日本語が混ざっても自然に読めるような工夫もされているそうです。

さらに約800時間分もの高品質な日本語音声（アニメやゲームが中心だそうです）を読み込ませることで、「息継ぎ」や「ちょっとした笑い声」のような人間らしい表現まで再現できるようになっています。海外の開発者さんが、個人のプロジェクトでここまでのものを作り上げて無料公開してくれていることには、本当に頭が下がります。

ただ、これだけ高度なモデルになると、私のいつもの環境（CPUのみのWindows）で動かすには、やはり少しだけ試行錯誤が必要でした。ここからは、実際にどんな声が出せるのかという感想とあわせて、エラーを回避しながらローカル環境を作っていった手順をまとめていきます。

ライセンスと利用規約について
 本記事で紹介する「Tsukasa Speech」およびモデルデータは、開発者の Respair (Soshyant) 氏によって公開されており、ライセンス CC-BY-NC-4.0（表示 - 非営利 4.0 国際）が適用されています。
　・非営利目的での利用に限られます。
　・商用利用（収益を伴う動画やアプリへの組み込み等）は制限されています。

2. 今回の作業環境（いつものGPUなしPC）

過去の記事から読んでくださっている方にはお馴染みかもしれませんが、今回Tsukasa Speechを動かしていくのも、私が普段から作業で使っている普通のノートPCです。
　・プロセッサ: AMD Ryzen AI 5 PRO 340 (2.00 GHz)
　・メモリ: 32.0 GB
　・GPU: なし
　・OS: Windows 11

AIやディープラーニングというと「まずは高価なグラボ（GPU）を用意しないと……」と身構えてしまいがちですが、このPCには積んでいません。このスペックで動くなら、私のPCでも……？と思った方もいらっしゃるかもしれません。「この普通のマシンで、最新のAIがどこまで頑張ってくれるかな」と探っていくのが、なんだか楽しいんですよね。

3. 実際の声と動かしてみた手触り

環境構築を終えて、さっそく操作画面（Web UI）を開いてみました。

まず目に飛び込んできたのが、この和の雰囲気あふれる美しいデザインです。個人の開発でここまで世界観が作り込まれていると、触っているだけで楽しい気分になりますね。

まずは標準モード（Kotodama Text Inference）でテスト
まずは標準的な「テキストから音声を生成する」モードで動かしてみました。驚いたのはそのスピードです。

  • 生成時間： 約10秒の読み上げに対して、CPUでの合成時間は3秒ちょっと。

前回のStyleTTS2と同程度の速さです。この速度感なら、実用的に使えそうです。品質も良いように思います。

本命機能？「Voice-guided inference」でテスト
次に、個人的に本命だと思っている「Voice-guided inference」タブを試してみます。こちらは、サンプルとなる音声を読み込ませて、その「声質」や「喋り方」をAIにガイドさせる機能です。

ここで重要になるのが、画面下のスライダー（パラメータ）たちです。READMEの記述を参考に、どう動かすとどう変わるのかをまとめてみました。

  • Alpha（声色のコピー度）： 数値を低くすると、読み込ませたお手本音声の声質にそっくりになります。

  • Beta（喋り方のコピー度）： 低くすると、お手本の抑揚やリズムを強く再現します。

  • Diffusion Steps（丁寧さ）： 数値を上げると音質が安定します。

  • Intensity（感情の強さ）： 声のエネルギー量が変わります。

こちらのモードでは、10秒の音声を作るのに5秒程度の時間がかかりましたが、その分、声の表情を細かくコントロールできる楽しさがあります。

READMEから読み解く、使いこなしのヒント
READMEを深く読んでみると、さらに面白い「使いこなしのコツ」が書かれていました。

  • 「俺・僕」で声が変わる？ 日本語特有の機能として、入力するテキストの言葉遣い（一人称など）が、生成される声の性別や雰囲気に影響を与えるそうです。

  • 句読点（！）の魔法 「！」などの記号を入れるだけで、AIが自動的に読み上げのインテンシティ（熱量）を上げてくれる仕組みになっています。

  • ガチャを楽しむ余裕を このモデルは「非決定論的（毎回結果が少し変わる）」な性質を持っています。一度で納得がいかなくても、パラメータを微調整して何度か生成してみるのが、理想の声に出会う近道だそうです。

以下、色々なサンプル音声を使って動作させてみました。

サンプル：kaede_san

生成音声：kaede_san　

サンプル：riamu

生成音声：riamu

4. 環境構築の手順：WindowsとCPU環境で動かすまで

さて、ここからは環境構築の手順です。

正直に申し上げますと、今回はライブラリのバージョン不整合にかなり悩まされました。エラー画面を見ては「また君か……」と呟きながら辿り着いた「Windows ＋ CPU環境」でのレシピをここに残しておきます。

注意点
本手順は、私が実際に手元の環境で動作を確認した記録をベースにしています。ただし、ローカル環境の構築には以下の点についてあらかじめご了承ください。

  • 動作の保証について：お使いのPCのOS詳細バージョンや、すでにインストールされている他ソフトとの干渉により、100%の動作保証は難しいです。ただ、動かなかったとしてもかなりの部分は参考になると思います。

  • バージョンの指定：エラーを回避するため、ライブラリのバージョンを可能な範囲で細かく指定しています。アップデートにより状況が変わる可能性がある点はご留意ください。

  • コードの修正：元のソースコードのままではWindows環境でエラーが出る箇所があったため、一部ファイルの修正を行いました。

ステップ0：事前準備（eSpeak NGのインストール）
StyleTTS2は、文字を音に変換するために「eSpeak NG」という外部ソフトを必要とします。これがWindowsだと忘れがちなトラップなんです。

  1. GitHubのリリースサイトから、Windows用のインストーラー（例: espeak-ng-X64.msi）をダウンロードしてインストールします。

  2. Windowsの「システム環境変数の編集」を開き、Path の項目に (標準設定でインストールした場合) C:\Program Files\eSpeak NG を追加してください。

  3. 設定を反映させるため、一度ターミナル（PowerShellなど）を閉じて立ち上げ直すのを忘れないようにしましょう。

ステップ1：ベース環境の作成とソース取得
まずはMiniconda（またはAnaconda）で、今回のための専用の「部屋」を作ります。

# 新しい環境を作成して入る
conda create -n tsukasa python=3.11 -y
conda activate tsukasa


次にソースコードを取得しますが、ここで一つ重要な準備があります。 今回のモデルデータは容量が非常に大きいため、Gitで大きなファイルを扱うための拡張機能「Git LFS」を使用します。

もし、まだ一度もPCにインストールしたことがない場合は、公式サイトからインストーラーをダウンロードして、セットアップを済ませておいてくださいね。準備ができたら、以下のコマンドを順番に打ち込んでいきます。

# Git LFSを有効化（初回のみでOK）
git lfs install

# Hugging Faceからデータ一式をダウンロード
git clone https://huggingface.co/Respair/Tsukasa_Speech
cd Tsukasa_Speech

【ここがトラップ！】
 git lfs install を忘れたり、LFSが未導入の状態で git clone すると、中身が空っぽのモデルファイルだけがダウンロードされてしまい、後でエラーの原因になります。「なんだかダウンロードが瞬時に終わったぞ？」と思ったら、ここを疑ってみてください。

最後に、必要なライブラリをインストールします。

# 標準要件のインストール
pip install -r requirements.txt

requirements.txt のインストール中にエラーが出る場合は、Microsoft C++ Build Tools が入っていない可能性があります。その場合は、リンク先からツールを導入してから再度試してみてください。

ステップ2：ライブラリのインストール
今回の最大のポイントは、「最新を入れればいいわけではない」という点でした。特に、Web UIを動かすGradio周りの依存関係がシビアです。以下の順番で、バージョンを固定してインストールすることをおすすめします。

# 1. PyTorchをCPU版でインストール
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 --index-url https://download.pytorch.org/whl/cpu

# 2. 標準要件とWeb UI環境の完全固定
pip install gradio==3.50.1 fastapi==0.104.1 starlette==0.27.0 pydantic==1.10.15

# 3. NLP・推論関連（Pydanticとの衝突を避けるための旧安定版）
pip install transformers==4.39.3 openai==2.33.0 sentencepiece==0.2.1 konoha==5.7.0
pip install fugashi==1.5.2 unidic-lite==1.0.8 ipadic==1.0.0

ステップ3：ソースコードの修正
ダウンロードしたリポジトリは、開発者の環境（Linuxなど）に最適化されているため、Windows ＋ CPU環境 で動かすには、数箇所だけ書き換える必要がありました。

ステップ4：いよいよ起動！
準備が整ったら、以下のコマンドでWeb UIを立ち上げます。

python app_tsuka.py

ターミナルに
　Running on local URL: http://127.0.0.1:7860
と表示されたら成功です。ブラウザで http://localhost:7860/ を開くと、あの和風の操作画面が迎えてくれます。

5. まとめ

今回は、最新の日本語音声合成モデル「Tsukasa Speech」をローカルのCPU環境で動かしてみました。一連の検証を終えて、感じたことを簡潔にまとめます。

  • やったことの振り返り 「StyleTTS2」をベースにした最新モデルを導入し、WindowsのCPU推論環境にて動作を確認しました。標準のテキスト入力（Kotodama）に加え、音声ガイドによる声質コントロールまで一通りテストを行っています。

  • 実用性と品質の高さ 一番の驚きは、CPU環境でも10秒の音声が3〜5秒程度で生成できるという「速さ」でした。品質面でも、アニメやゲームの高品質なデータを学習しているだけあって、息継ぎや抑揚が非常に自然で、実用レベルに達していると感じます。

  • 環境構築のハードル 一方で、ライブラリのバージョン依存が非常にシビアで、Windows環境特有のエラーも散見されました。ソースコードに直接手を加える必要もあり、動かすまでの「下準備」が最大の難所と言えます。

一度環境さえ整えてしまえば、これほど表現力豊かな音声合成を自分のPC内で完結できるのは大きな魅力です。

今回の「Tsukasa Speech」の手応えが良かったので、この勢いでまた別のTTS（音声合成技術）についても、機会があれば触れてみたいと思います。

最後までお読みいただき、ありがとうございました。

いいなと思ったら応援しよう！

あさぎ　あい よろしければ応援してくれると嬉しいです！いただいたチップは、記事づくりや学びの時間に大切に使わせていただきます。

この記事が参加している募集

#

やってみた

12万件