シャインポストの「下手に歌う」AI歌声合成はどうなってるの？

こんにちは、いぬいぬです！

Nintendo Switch 2のローンチタイトル
「シャインポスト Be Your アイドル！」（以下シャインポスト）では
AI歌声合成エンジンが搭載されているそうです。

登場するアイドルキャラクターたちはレッスンが進まないうちは、ピッチやテンポを外して「下手に歌ってしまう」けれど、レッスンが進むと上手に歌えるようになる、というシステムが搭載されているそうです。

へぇ～！
気になりますよね！！！！？？
そこで発売前の今、可能な限り予想してみたいと思います！！！！！
（どうせ発売されてもSwitch2が手に入らないからすぐには遊べないし！！！）

どんなAI音声合成エンジン？

誰が作ってる？

シャインポストの開発・運営しているコナミ製、と誤解している方もいますが、AI合成音声エンジンは「テクノスピーチ社」のエンジンが採用されています。

この会社は名古屋工科大学の学生ベンチャーとして立ち上がった会社で、
日本の音声合成研究の権威、徳田恵一教授の研究室から生まれた会社です。

最近はスマホ向けお絵かきソフト「アイビスペイント」で有名なアイビス社の子会社になったそうです（アイビス社も名古屋に縁のある会社）。

何に使われてる？

同じコナミのゲームで言えば、「プロ野球スピリッツ2024-2025」の実況音声合成部分にテクノスピーチ社のしゃべる方のエンジンが採用されてます。

しゃべる方と歌う方のエンジンに採用されてるので他のコナミ製ゲームでももっと出てくるかもしれません？

他には？

最近、コンビニのレジとかでよく聞くような気がします。
（古いバージョンのエンジン）

CeVIO/VoiSonaでおなじみ

DTM/ボカロユーザーや合成音声ソフトユーザーにはCeVIO（ちぇびお）やVoiSona（ぼいそな）のエンジンとしておなじみです。
（有名なのはヤマハのVOCALOIDですが、エンジンは別物になります）

ボカロ曲ランキングでは、CeVIO AIの「可不」（かふ）ちゃんや、VoiSonaの「知声」（ちせい）ちゃんが歌ってる曲がよく見ますね！

特に知声ちゃんはテクノスピーチさんがリリースしているソフト、
VoiSonaの公式ソングボイスライブラリで無料で使えるので、
初心者の方にも優しいですね！

ラフダイの4人はVoiSonaでリリース済み！

シャインポストに登場するうちの4人は、同じエンジンが採用された
歌声合成音声ソフト「VoiSona」で結構前にリリース済みです！

上のレビュー記事でも書いたんですが、このラフダイシリーズの展開、
合成音声ソフトファンからしても「分かってる」展開をしていたんです。
他の合成音声エンジンじゃなくて、どうしてテクノスピーチ製のエンジンなの？はラフダイシリーズのコンセプトで色々語られていました。

『でもどうして「わざわざ下手にもなる」バランスにしているの…？』
ってず～っと疑問だったんですよね…

とはいえ一部ではシャインポストに関係しているんじゃないか？と
うわさされてました（上の見切れているキャラはラフダイの2人）。

めっちゃ時間かかりましたけど、なるほどね～～～！

シャインポストに搭載されてるのは？

どのバージョンのエンジン？

テクノスピーチ製のエンジンには大きく分けて3つのバージョンがあります。

• 古いやつ

  • コンビニのしゃべるやつとか

  • CeVIO CS相当

• バージョン1.0

  • CeVIO AI / VoiSona

  • そこそこリアル

• バージョン 2.0

  • CeVIO AI / VoiSona

  • リアルだけど重い

  • 最近リリースされてるのは大体これ

シャインポストに搭載されるとしたらバージョン1.0か2.0だと思います。
VoiSonaに出てるラフダイの4人はバージョン1.0と2.0用のボイスライブラリがそれぞれリリースされています。
ここで問題になるのが合成処理の重さ。

バージョン2.0は計算負荷が高くて、いぬいぬはパソコンのCPUを交換しました（ミドルスペック）。
ただ、iOS/iPad版のVoiSonaはバージョン2.0のボイスライブラリしか使えないので、最近のスマホでも動くことは動きます。

シャインポストは複数人のライブシーンで音声合成が使われてるのとリアルタイムにアイドルの子たちがミスすると言っているので、ゲームの処理に加えて重くなるので微妙なところです…。

どっちだ…？

一応、開発途中のバージョンは”利き合成音声ソムリエ”に言わせれば
「バージョン1.0」っぽいんですけどね。
（旧バージョンはボコーダーの周波数特性に特徴があって、慣れてる人なら聞き分けできます）

でも、Switch2だしな～？？？きっと性能上がってるだろうし…
古い機種に合わせる必要ないし…
どうせ出すなら 2.0 だと思うんですけどね…

どっちだ…？

「下手に歌わせる」方法

さてここからは推測です。
実際にどうしているかはわからないですが、
「ヘタに歌わせる」調声について考えてみたいと思います。

たぶんこうやってるんじゃない？

普通はボカロ系、合成音声の調声で下手に歌わせるのを目指すことは、まあないです。
「こどもがうたってるように」ちょっと外したりとかはありますが、めったにないかなと。

リアルタイムに合成音声エンジンに変なパラメータを与えれば、結果的に下手に歌うとは思いますが、今度は性能問題が出てきます。
バージョン2.0のエンジンの場合、再生中に頻繁に調声変えるとカックカクになります。

なのでライブシーンの前とかの段階で、楽譜データとかパラメータにある程度手を加えて下手に歌うように事前に合成して流している、ってのが考えられます！

この想像の注意点

ただ気を付けないといけないのが、テクノスピーチ製のエンジンは、
「エンジンは歌い方を決めてない」
「歌い方はボイスライブラリ側にある」
っていうところ。

どういうことかというと、
共通の"とある"調声方法をしたからと言って、必ず下手になるわけじゃないんですよね。
（中の人の歌い方の癖によるので、下手に歌わせようとした調声が、
逆に上手く聞こえることもありえます）

ラフダイの4人の時点で全然ベタの歌い方が違うんで同じ調声でも別物になるんですよね～

この辺をポイントに見ていきたいと思います。

テンポをずらす

簡単なのは本来の曲のテンポ（BPM)と違う指定の楽譜データを元に合成することです。BPM120の曲をBPM110で歌わせれば、当然！ズレて歌います。

ただ、これだと後ろの方になると歌として成立しないくらいズレていくので、単純に変える、というのはやらないかな～。

フレーズとかの頭は合ってるけど途中のフレーズ感はテンポをずらしておく、とかすると、ずれる→合わせる→ずれる→合わせるみたいな歌い方の再現にはなるかもしません。

でも「自然に下手」にするにはテンポもBPM120を122とか117とかで歌う、みたいな微妙なゆらぎにしないと自然にならないでしょうし、これくらいのテンポのゆらぎはゆったり目の曲を人間の生歌・生演奏するときは全然普通にあるので、曲によっては下手に聞こえないかもしれません。

下手に聞こえるテンポのずれ、は簡単に見えて結構難しいです。

タイミングをずらす

タイミングのズレ、はもっと難しいです。
というのも人間は、音符のぴったりのタイミング通りには歌わないので、
自然な歌い方＝音符からタイミングがずれる歌い方になって、
ちょっとずらした程度だと逆に自然に聞こえるまであります。

テクノスピーチのエンジンはこの歌手ごとのズレの癖を再現するので、
もとからズレてます。

なので音符のタイミングを無理やりずらしても、
・ヘタというより単に不自然
・歌い方の癖と区別がつかない
みたいなことが起きると思います。

大きなタイミングのズレは歌っている人も気づいて歌いながら修正するので、下手な人のタイミング・テンポズレの再現はなかなか難しいです。

あからさまに変なデータ加工するんじゃダメで、ポイントポイントでずれるようなデータを渡すと「ヘタっぽく」歌ってくれるかも。

ピッチ（音程をはずす）

VoiSonaにはTUNEというパラメータがあります。
これはプラスにすると音符に沿った歌い方、つまりロボットボイスみたいになり、マイナスにすると本人の癖を過剰に強調した歌い方、つまり音が外れた歌い方になります。

なのでマイナス方向にこのパラメータをガッツリズラしておけば、「ヘタに歌う」かもしれません。

※ちょっとずらすだけだとむしろ曲によっては合ってしまいます。
※またプラス方向に変化させると、人間の歌手でもMelodynとか使って
やってるピッチ補正と同じことなのでヘタには聞こえなくなってしまいます。

まあでも演歌とか民謡とかだと「こぶし」とかワザと音程外す技法があるので演歌がシャインポストに入ってないことを祈りましょう！

調号（キー）を変える

テクノスピーチ社のエンジンは、楽譜の調号やキーで微妙に歌い方が変化するという特徴があります。

本来の曲の調号とは別の調号を指定すると微妙な歌い方の変化が起きて、
やや不安定な歌い方になるので、それが「ヘタに歌う」の再現にできます。

あんまり変わらない子もいるのでライブラリ次第ではありますけど、簡単に変えられてヘタにできるパラメータとしては有力です。

※実際にはダブリング用にワザとずらして合成したりするんで結構変化は微妙です。

強弱の指定を消す

テクノスピーチ社のエンジンは、楽譜の強弱の指定によって、歌い方のメリハリ感が変わります。

これはボリューム（音量）ではなくて、歌い方そのものが変わります。
（どう変わるかはライブラリ次第）。

ちゃんと指定するとメリハリが付いて歌えるんですが、逆に言えば、
これを消してしまえばメリハリがなくなって一本調子な歌い方になります。

メリハリがない歌い方は、自然に下手な歌い方を再現できるかもしれません。

ただ、ソロパートとかじゃないと聞き分けしにくいかも。ハモリとかはむしろメリハリ消したほうが良かったりもしますし…。

歌い方の指定を消す

テクノスピーチ社のエンジンは楽譜のポイントポイントで歌い方を指定することで、歌い方を変えることができます。

・ファルセット（裏声）
・エッジボイス
・語尾上げ
・語尾下げ

これもエンジンが決めてるんじゃなくて、ボイスライブラリごとに持ってる歌い方のデータを再現するもので、どういう歌い方ができるかはボイスライブラリによります。

ちゃんといい感じに歌わせるときにはこの辺の指定は必須なんですが
（何故か最初の頃は隠し機能でした）、逆に言えば、この辺の指定を何も指定しなければ、これもメリハリなく歌うことになります。

まあ音程が高いノートとかは勝手にファルセットっぽくなったりもするんですが、指定があるに越したことはない感じです。

ヘタに歌うように聞こえるには、これを消しちゃえばいいですが、
強弱指定と同じでメインボーカル向けかもしれません。

ビブラートの高さ・周期をずらす

インタビューのここの発言はとても気になります…！！！

というのもビブラートはボイスライブラリごとに入ったり入らなかったり、かかり方も違うんですよね。
ビブラートはかかってなければ別にそれはそれで自然なんで、特に問題にはならないはずです。

「うまく使えない」ということは少なくとも、元のデータの時点で、
「ここはかけてね」、という指定が最初から入っているということになります。

ビブラートはこの波の高さや周期をパラメータで変えられるので、
高さや周期をワザとずらして曲に合わないようにする、
ってすれば「ヘタに歌ってくれる」かもしれません。

ロングトーンは何もしない

さて「ロングトーンがうまく歌えない」ってことなんですが、
ロングトーン、実はそのまま手を入れずに歌わせるといい感じにはあまりならないんですよね。

経験則的にいうと声が続かなくてピッチがブレブレになっちゃったり、
ボリュームが不安定な発音になるんですよね。肺活量と正確な音程を長い時間維持しないといけないのでプロでも難しい。
特に中の人の歌い方を補正書けずに自然に再現するようなコンセプトの音源はこんな感じです（ラフダイの4人まさにコレ）。

そこで使うのが緩やかなビブラートをかけたり、ファルセットや強弱指定でだんだん柔らかくなるような発音にしたり、語尾にこっそり「む」の音素を入れたり、…とか調声します。

なので！何もしなければ「下手に歌ってくれる可能性が高まる」はず！！
元の楽譜データではガチの調声しておいて、下手に歌ってもらうときはその辺の調声データを全部消してプレーンにすれば実現できそうです。

前代未聞の「下手にする」調声法

さてここまで色々考えてきましたが、前代未聞です。
普通は上手く歌わせるために調声するんでね…
下手に聞こえるようにする、こんなノウハウなんてありません。

とはいえ、「「LAUGH DiAMOND」ディレクション講座」みたいなガチ講座を上げてる公式ですから、経験則的にこうするとうまくいかないね、とかここはベタのままだといまいちになるよね、とかは分かってるはず。

この辺の逆転のノウハウを注ぎ込んでるのかもしれません。
だって23人分もボイスライブラリ作ってるわけですから…ガチですよね
（しかも開発期間長いので旧バージョンの試作ライブラリもたくさんあるはず…）

さあ、はたしてこの予想は当たるんでしょうか…？
（そしてSwitch2手に入るのは一体いつになるのか…？？？？）