11.メディア論 インタラクティブミュージックはゲームだけの演出である、という神話

インタラクティブミュージックっていうとゲームならではの技術！と思われてそうだけど、音楽に詳しい方ならご存知の通り、何もビデオゲームだけに限ったものではないし、もっとずっとそれ以前からあった！

今回は、そんな「ゲーム以外」でのインタラクティブな音楽について、色々と紹介しておこうかと思う。

インタラクティブな「音楽」そのもの

インタラクティブミュージックの定義を、私は「変化する1曲」と言った。はて、私達はいつ頃から「音楽には楽譜があり、１曲という単位で存在する」のが普通だ、という常識に囚われていたのだろうか？

音楽を演奏する時、そこは常にインタラクションの余地が存在する。録音技術、ならびにそれを電子的に記録、配布する技術の発展は、音楽を１つのファイルに還元して商品名をつけた静的なデータが実態であるというイメージを生み出した事の影響が大きいだろう。私達はビデオゲームによって、音楽が持つ本来のインタラクティビティを取り戻そうとしている、と言えるのかもしれない。

松本昭彦氏による以下の記事は、音楽における「創造性」とは何か（音楽を作るとは、一体何を作ることなのか？）という問いに音楽史を紐解きながら迫るもので、音楽を作ること、がどのように変遷してきたのかを一望できる貴重な資料となっている。

タイトルに「生成と作曲」とあるように、生成的作曲アルゴリズムの歴史を主軸としている。アルゴリズムとは制約であり、その観点から、伝統的な音楽様式＝伝統的な制約もまた、その時代における作曲アルゴリズムと見なせるのでは、という視点の提示は私にとっても衝撃だった。

モーツァルト

↑の記事にも載っている有名な例として、モーツァルトが作った可変楽曲Musikalisches Wurfelspiel（Musical Dice Game）というものがある。

断片化された譜面をダイスに応じて並べ直すというやり方で、現代で言うならゼルダの伝説　時のオカリナにおけるハイラル平原で使われた音楽アルゴリズムに近しい所がある。

ジョン・ケージ

ジョン・ケージ（4分33秒などで有名）はもちろんこういう事を色々やっているわけだが、先日のarsobitのイベントでマルセル・デュシャン（「泉」などで知られる現代美術家）とジョン・ケージの意外な関係が話題になり、彼らがチェスの対戦を通して、それを音響信号に変換するという驚異のプロジェクトがあったことが紹介された。

トッド・ラングレン

さらに最近だが、ゲーム業界でIMが流行るよりも少し前（90年代初め）に、インタラクティブな音楽の可能性を模索した音楽家もいた。トッド・ラングレンは、さまざまな楽曲のプロデュースで知られるマルチミュージシャン・プロデューサーで、以下の記事にあるように、当時の最新技術を使い、とても先進的な取り組みをしていたようだ。

このように、純粋な音楽の歴史から見ても、リスナーにその制御権の一部を明け渡そうとする試みは常に繰り広げられていた。結局、そうした制御権（コントローラー）の汎用化・一般化という点でゲーム機が最も急速に普及したためにゲームのIMが飛躍的に発展したという側面はあるが、このように技術が整備された今だからこそ、純粋に音楽という面からもインタラクティビティに正面から取り組む価値はあるのではないだろうか。

インタラクティブ・ミュージック・アプリ

実際、スマートフォンが普及した現在、単に楽曲をストリーミングする形ではなく、アプリとして音楽の可能性を探る動きも無数にある。

traumbaum

以下の「終わりのないピアノ曲」を奏でるアプリ「traumbaum」は、スミイ酸（可変音楽作家、ピアニスト）が作成したアプリで、2012年に私が主催した「インタラクティブミュージック研究会」で発表されたものだ。

björk: Biophilia

同じ頃（2011年）、世界的に有名なbjörkも音楽の「アプリ化」に挑戦していた。

これは実際にiOSアプリとして配布された。10個の異なるインタラクションと音楽が収録され、わかりやすいものから、わかりにくいものまで。私も当時プレイしたのだが……正直な所、成功とは言えなかった。以下のプレイリストから各アプリのチュートリアルが見れる。

PLAYGROUND Organic Remix

こちらはスワイプする動きを音楽パターンに変換できるPLAYGROUNDというアプリ。シンプルな形状を好きなように配置するだけで、形状のIN/OUTのタイミングがクオンタイズされ、空間的な動きがそのままリズムパターンになる。非常に直感的な操作で音楽的反応が得られる。

こうなってくると、可変音楽というより楽器に近い。果たして、「楽器」と「可変音楽」の境目はどこにあるのだろう？（楽器そのものは、無限の可能性があるようでいて、1つの音楽的な成約を与えているわけで）という思考実験もまた面白そうだ。

ビデオゲーム媒体における音楽表現

ゲーム機においても、ゲームのためのIMというよりは、音楽表現のためのIM、というものが徐々に見られるようになってきた。

一番大きい所では

Kid A Mnesia Exhibition

レディオヘッドという伝説的なバンドが出した、ビデオゲームで体験する音楽アルバム。ニュースを目にした方は多いかもしれないが、実際遊んだ人はどれだけいるんだろうか？

3D空間を歩きながらアルバムを体験する形で、一部のステージではインタラクティブな音楽と体験の同期が行われていた。先ほど紹介したbjörkのアプリに比べたら、洗練されてきたという印象だ。

こうした音楽アルバム的なパッケージングは他にも、

Sayonara Wild Hearts

なども、「ポップアルバムビデオゲーム」と名乗るあたり、新たな音楽表現と言える。ただ、音楽的にインタラクティブな要素は少なく、音ゲーのちょっと豪華なバージョン、と捉えるべきかもしれない。

それよりも、先日のボカコレで発表された

リリカルアナグラム

などのほうが、よりインタラクティブ性に注目した作品と言えるだろう。

さらに時を同じくして、人気VTuberの月ノ美兎から、以下のようなインタラクティブなミュージックビデオが発表されたことは記憶に新しい。

アルクマルチバース

こうした取り組みは、確実に増えてきているが、なかなか話題になって次回作も、といった所までは続く例が少ないのが現状だ。まだまだリスナー側が何をどう期待して受け取るべきかが認知されていない面もあるだろう。今後の盛り上がりに期待したい。

実空間におけるインタラクティブミュージック

ディズニーランドのインタラクティブミュージック

既に「ゲームと音楽の関係性」マガジンで以下の記事を書いたので、お気づきの方もいらっしゃるかもしれない。

テーマパークなどの実空間にインタラクティブな音楽体験を埋め込むという発想も可能だ。同様のことはUSJのスーパー・ニンテンドー・ワールドにもあるんだろうけど（噂には聞く）……まだ行けてない……いつか行きたい……

大阪万博のサウンドスケープ

万博のデザインシステムについてはCreative Directorの引地耕太さんがTwitterで発信し続けることでその素晴らしさが少しずつ伝わってきていると思うが、万博のサウンドスケープについても、実はかなり注目すべき作品になっている。

これから行かれるという方、または行ったけど知らなかった！という方は、以下を見てみると更に楽しめるかもしれない。

SoundCloudで聴ける音源もどれも非常に面白く、会場で聞いていても、テーマパークほどは主張せず、自然と調和し、たまに心地よさを感じさせてくれる、良いバランスになっていた。

願わくば、ゲームのように気軽に何度も通って、その音楽システム全体を身体化できるとよかったのだが（自分は6月に2日間だけ行くことができた）。

ちなみに、コモンズAにこんな展示もあった。リアルに複数人で触れるインタラクティブミュージックアプリとしては、非常によく出来ている。

実空間を使ったインスタレーションの世界では、こうしたインタラクションが行える音楽体験というのは決して少なくないわけだが、意外と「これは面白い！」と感じられる体験にはまだそんなに出会えていない。もしあれば教えて欲しい。

車ｘインタラクティブミュージック

実はだいぶ前（2013年）に、Volkswagenが「車の運転操作によって音楽を創り出すアプリ」を企画・開発していた。

私は車を運転しないので、その後どうなったかまるで知らないのだが、少なくとも、当時動いていたテスト動画のそれは、なかなかに期待感が持てるものだった。

当時はiPhoneを接続して動かしているようだったが、現代であれば、より高性能なスマートフォンあるいは車載のCPUでより高度なこともできそうだ。

Audiokineticも最近になってWwiseオートモーティブ、などと言って自動車メーカーに売り出しているので、そのうちこうした取り組みが出てくるのかもしれない。

Interactive Sonification

ソニフィケーション(sonification)とは、ある情報を、体系的・客観的で再現可能なシステムの中で作られた非言語的な音として表し、理解すること（東京藝術大学「作曲技法としてのソニフィケーション」より）であるが、この分野においても、音楽を用いて、しかもそれをインタラクティブな（リアルタイムな）環境や人間の動きに適用して、応用されている例が多数ある。

京都産業大学で音楽情報処理などを専門とされる平♯重行先生からご紹介いただいた事例を共有したい。

平♯先生と言えば、CEDEC2014などでも展示されていたBathcratch: 浴槽をこするDJスクラッチシステムなどでご存じの方もいるかもしれない。こちらの作品はSonificationというよりはインタラクティブアートにおける事例。

そんな研究室において、岡田滉太朗氏が開発した「仕事中の姿勢の悪い座り方を矯正するためのインタラクティブソニフィケーション」などが、この分野における音楽活用の一例と言える。姿勢からメロディが生成されていたりして、面白い。

Interactive Sonificationについて、より詳しくは以下を参照、とのこと

Webにおけるインタラクティブミュージック

つい最近こんなものが流れてきたので、ご紹介。

機能としてはシンプルな縦の遷移に思えますが、Webの技術スタックに詳しくないため、どうやってるのかは謎。とってもオシャレ！

今後期待されるインタラクティブミュージック体験

ここまで雑多にいろんな例を紹介してきたが、ゲーム以外の領域は私も偶然聞きかじったレベルの事例しか知らないので、もし似た話や発展的な事例などあれば是非教えて欲しい。

そのうえで、ゲームにおけるIMの技術は、まだまだこうした他領域に輸出していける可能性が十分にあると思っている。

音楽表現のための技術としても、これからの世代がプログラミングを活用していく事で、もっと音楽的な才能に富む人々がより発展的なアプリケーションを開発するだろう。

ゲームにおいてもインタラクティブサウンドトラックが欲しい、という話をしていた。実際のところ、音楽を操れると嬉しい、という概念そのものの普及や、それが可能なプラットフォームの普及などの道筋がなく、足踏みしている状態と言える。もし、将来的にそうした事業に協力できるのであれば、是非やりたいところだ。

実空間における応用例は、テーマパークなどの巨大な空間以外では、（前の神話で論じたような「空気による支配」の問題があるせいで）なかなか応用先が少ないかもしれない。とはいえ、より小規模なインスタレーションや、あるいは商業施設といった所でも、雑多に音楽が混ざってしまうよりは、しっかりサウンドデザインして、音楽もシームレスにしましょう、という提案は増えても良さそうだ。

個人的には、今すぐに出来るのに応用が追いついてない事例として、式典などの巨大な行事における音楽制御がある。例えば、オリンピックでは開会式にゲーム音楽が使われるなど表面的なコラボレーションはあったが、例えば表彰台に上がるときに、金メダリストがいつ表彰台に上がるかわからないというインタラクティビティを、音楽もそこで待機しつつ登ったところで次の音楽に遷移する、といったことが十分に可能だが、行われていない。

同様の演出は、例えば結婚式でも、eスポーツ大会でも、あるいはちょっとしたYoutuberの配信なんかでも、音楽を上手く使いたいと思ったら、その手段は（インタラクティブミュージックをやるには技術力が必要、という神話で書いたとおり）もはや手近なところにある。是非、色んな業界の人に試してもらいたい。

次の神話へ

前の神話へ

連載全体あるいは一部でも「これは有料級だ」とご納得いただけたら、こちらのおまけ有料記事をご購入いただけたら幸いです。