TRPGプロンプトから自動でPV動画を作る試みと課題

TRPG のプロンプトとストーリーから自動で動画を生成する挑戦を記録。設計構成、AI 台本生成、Runway 入力、編集統合、今後の課題と改善案を体系的に語る成果報告。

こんにちは、SHOです。
今回は僕のやりたいことがようやく形になりそうなイメージがついたので、成果発表noteです。

実は以前にも一回作ったのですが、あまりにもよろしくなかったので、改めてです。

まだまだ課題は多いけど、概ねテスト動画が完成したのが嬉しくて記念にnoteします。今回の内容はいつもよりも薄いです。だから気軽によんでみてください。是非動画だけでもみてってください。

成果物はこれです。
※音出ます

この動画の元になっているTRPGのストーリーとプロンプトはこれです。

TRPG動画生成の構想と目的とは

これは僕が前からやってみたかったことで、TRPGのプロンプトと、ストーリーを完成させた後、自動で動画まで作れちゃうようにしちゃおうっていうプロジェクトです。

きっかけは、AIをGMにしたTRPGが楽しかったので、そんな世界観を動画にできたら素敵だなって思ってます。

でも、僕は一人で大変なので、TRPGを作るだけでAIが自動で作ってくれたらいいな、そしたらストーリー作成やプロンプト作成に集中できるなって思ってやろうとしています。

結果、AIと自動化の勉強に集中しています。大変です。

自動化プロセスの全体設計

まずはおおざっくりな手順

自動化の構想としては、こんな感じです。

1. 僕がTRPGのストーリーとプロンプトを作る

2. n8nにストーリーとプロンプトを渡す

3. AIがそのプロンプトとストーリーから動画の台本を書く

4. 更にそこから動画作成用のプロンプトをシーンごとにAIが書く

5. Runwayにプロンプトを渡して動画が生成される

6. SHOTSTAKで動画と音楽を一つにまとめる（字幕も）

7. 完成（Youtubeとかに自動投稿とか）

今回はテストなので自動化を想定した手動で作ってます。

AIによる台本生成とプロンプト生成

ストーリーとTRPGのプロンプトがあればAIは結構できます。

• ストーリー：映像化する「内容」のベース。シーンの流れや雰囲気を切り出すために必須です。

• TRPGプロンプト：キャラの特徴、舞台設定、演出の制約など、ストーリーに直接は出てこないけど映像化でブレないための情報を補完できます。

TRPGのプロンプトって結構細かい設定を含んでいるので、ふわっとしているストーリーでもAIが想像できるようになっています。LLMの持ち味です。

分割して渡してあげて、Runway向けの動画プロンプトに変換するときに「ストーリーの流れ」と「キャラの一貫性」をプロンプト上で両立できるというのがポイントです。

シーン分割と Runway 入力の工夫

TRPGのストーリーとプロンプトを渡すと、こんな感じのプロンプトが出てきます。めーちゃくちゃ長いので一部抜粋です。

これを各シーンごとにCODEノードで分けてRunway（今のところ）渡すイメージです。

Runway側の生成時間を考慮して渡すタイミングを調整しないとダメですね。

#共通スタイル・アンカー（全シーン上部にコピペ推奨）
・世界観：2040年の日本。都市型スマートシティ。ホログラムとパーソナルAIが社会インフラ。
・映像トーン：冷たい近未来サスペンス、コントラスト高め、硬質、微かなノイズ。
・カラー：ネオン（ティール／マゼンタ）×スモークグレー。UIはティール寄り。
・レンズ／描写：35mm〜50mm相当中心、軽い被写界深度、HUD重ね。
・キャラクター・アンカー
　・主人公_v1：日本人男性・20代後半・黒髪短髪・無地シャツ＋薄手ジャケット・細身・スマートグラス着用・やややつれた目。
　・ラッセルHUD_v1：ティール色の波形オーブ＋極薄UI文字、控えめに点滅。声の主として可視化。
　・UI要素_v1：契約終了通知、本人サイン、音声波形、視線トラッキングのUI。
・禁止：コミカル表現、大げさなアクション、ファンタジー生物、過度な暖色ライティング。
・画角：16:9 横。
・Runway推奨：Gen-3（Alpha/Turbo）／Duration 6–8s／Motion中〜弱／Camera小さめパス。

#シーン設計（合計約30秒・5カット）

##1) 導入「通勤中の通知」(約6秒)
###Prompt（日本語でRunwayへ）
・通勤ラッシュの早朝の高架歩道。主人公_v1がスマートグラス越しに前を見て歩く。視界に半透明のHUDがオーバーレイされ、「本日付で職員ではなくなりました」「契約終了通知書」の見出し、タイムスタンプ、社員ID。HUDは冷たいティール。背景はガラスとスチールの現代的ビル群、薄い朝靄。主人公は一瞬だけ足を止め、眉がわずかに動く。カメラは胸上ショット→わずかなドリーイン。UI要素_v1を画面手前に静かに浮かべ、環境ノイズに合わせて微細なグリッチを入れる。シリアス、抑制された動き。
・Camera / Motion 指示
・Camera: 微ドリーイン（被写体へ10–15cm程度）
・Motion: 歩行に合わせた軽い揺れ（手ブレ少なめ）
・Depth: 中浅

##Negative Prompt
過度な群衆密度、夕焼け色、手持ち激しいブレ、コミカル表情、SF過剰な飛行車両

-----------------------
--------省--略---------
-----------------------

##5) 転換「侵入—セーフモード—記録01」(約6〜7秒)
###Prompt
室内の空間全体がわずかに波打ち、画面にマゼンタ寄りの干渉ノイズが走る。ラッセルHUD_v1が「通信エラー」「外部ログ侵入検出」「セーフモード移行」を順に表示。知らない声の象徴として、ティールとは別系統の細いホワイトノイズの線形アバターが一瞬だけ出現し、画面が強めにグリッチ。背景が静かに書き換わり、見覚えのない部屋の“記録画面”に遷移。最後に中央へ白字タイトル《記録01：ホログラムは笑わない》が淡くフェードインし、HUDの点滅が止まる。無音に近い終わり。
・Camera / Motion
・Camera: 緩いドリーアウト→一瞬の乱流→静止
・Motion: グリッチ強→落ち着く

##Negative Prompt
派手な稲妻、巨大な怪物、血しぶき、派手な爆発

※もちろんこれを英語になおして使います。
※出力したプロンプト内に「通信エラー」「外部ログ侵入検出」「セーフモード移行」ってあるけど、これはプロンプトインジェクションリスクになるので、今回は手直し修正しています。

Runwayにプロンプトを渡して動画が生成される

今回のシーンは合計8シーンあります。1つのシーンを5秒以内に収めます。
Runwayは難しいです。キャラクターを登場させたはいいですが、妙にリアル過ぎたり、逆にアニメ風にするととんでもなく崩れてしまったりと試行錯誤しました。

勉強代も高かったですね。

だから僕のお金が無くなる前に今回はキャラクターを登場させずに雰囲気でなんとかしています。

こんどRunwayの使い方も書いておこうと思います。

統合とSHOTSTAK利用

これは動画編集に使います。無料だし、API連携もできるので僕は選びました。使ってみた感じ、まぁ悪くは無いと思います。初めてでもわかりやすいUIでした。編集楽しかったです。

生成した動画をSHOTSTAKに入れておきます。音楽はPixabayを使っています。これもAPIあります。商用利用も無料で素敵な音楽も多いので僕はお勧めです。

今後の課題と改善の方向性

今回は手動で作成してみましたが、自動化はいけると思います。
でもこれ、品質に超課題ありだと感じました。僕が思った具体的なのは、

1. 人物描写
   特にアニメ風の動画を作ろうとするとそもそもRunway側のAIの学習モデルが少なすぎてかなりひどいことになります。
   Runwayはリアルな画像を動かすことが凄く得意です。人物や背景などの学習データが圧倒的に多いです。さらに、出力保持の機能がかなり効きます。
   だから解決方法はモデル画像を途中で生成してからプロンプトと共にRunwayへって感じになると思います。アニメ風のほうが見てて楽しそうだし。他にAPI連携できて良いのが無いかも引き続き探してみます。

2. 動画のコマ割りと音楽の親和性
   これどうしようって思ってます。今回は手動で音楽に合わせて動画をつけています。あ、僕のリズム感が壊滅的だったらごめんなさい。
   正直自動でどこまで格好良くできるのか全然想像できてないですが、選ぶ音楽で工夫していくしかないかなって思ってます。

3. APIコスト
   これは単にお財布の話です。今回のレベルで700円くらいだから破産するようなことにはならないと思うけど、このあたりは上手に工夫していかないとって感じですね。

まとめ

というわけで、今回は僕のプロジェクトが少しだけ前に進んだので、みんなに動画をみてもらいたいという報告でした。

最後にしつこくもう一回動画のせておきます。もしいいなと思ったらスキやフォローしてくれると嬉しいです。

※今回の動画の元になったTRPG

※TRPGの動画プロジェクトの詳しい話はこちら。

※このnoteで触れたプロンプトインジェクションについてはこちら。

※その後、ここから大きく成長しました。