チーム石若駿が挑んだ「人とAI」の共演〜テクノロジーが音楽家を高めるフレームワークに

山口県・YCAMで行なわれた、パーカッショニスト石若駿とのコラボレーション作品、「Echoes for unknown egos―発現しあう響きたち」。本作は、石若氏の「自分自身とセッションをしてみたい」という発想からスタートしたもの。複数回にわたるYCAMでの滞在制作を含む、約2年にも及ぶ制作の末に実現した公演で、音楽とAIの新たな関わりを示唆した作品だと言える。

作品の概要としては、石若氏やゲストのサクソフォニスト松丸契氏が即興の生演奏を実施し、そのセッション相手がAIという構成。AIといえど、演奏するのは機械制御された生の打楽器やピアノで、さらには、「ポンゴ」と名付けられた自動演奏打楽器も含まれる、極めてユニークなものとなっている。

実際にその公演を体験したが、石若、松丸両氏の闊達かつ、躍動的な即興演奏とともに、石若氏の演奏を学習したAIによる機械ならではの独特のキャラクターをもった演奏とが、時に予想外の展開を繰り広げる、心地よい緊張感を伴った唯一無二のパフォーマンスであった。

そんな作品の要となるAIの開発や石若氏との演奏の関わりについて、石若氏を始めとする制作チームの方々にお話を伺った。

——今回の作品の核となるAI部分のシステム開発はどのように進んでいったのでしょうか。

時里　制作のスタート段階は、まだ野原さんと小林さんのお二人が居ない状態だったのですが、まずは石若さんの演奏データを取ってみる、ということからスタートしました。「会心の演奏」をしたときに何が起きているのか。それが分かるのか、を実験するために、演奏時の心拍数や、ジャイロがついたゲーム機のコントローラーを使って椅子の動きのデータを取るなどしました。それから、ローランドのV-Drumsという電子ドラムを借りてきて、それを石若さんに叩いてもらい、演奏データを取り、それをもとにAI同士で、なんとなくセッションさせてみることも実験しました。

安藤　Googleの機械学習プロジェクト “Magenta”を使ったもので石若さんに体験してもらいました。なんらかの入力があると、AIがそれに対して出力を返す、というものです。

石若　それらは、普段アコースティックなドラムを叩いているので、演奏の実感があまりありませんでした。そして、スピーカーから音だけが出てくる。それは聴いてる分には面白かったのですが、では、AIから返ってきたその反応をどうやって音楽にしていけるのか、関われるのか、というところは見えなかったですね。

安藤　そこで、楽器の素養もあって、AIの研究をしている人を探したところ、以前YCAMとコラボレートした、Qosmoの徳井直生（とくい・なお）さんに、AI研究者・クリエイターである野原さんと小林さんをご紹介いただきました。

時里　徳井さんはAIDJ（人間がかけた曲をその場で「聞き」、次にかける曲を選び、ミックスまで行なう）など、AIを用いた芸術表現の拡張についての研究を行なっている方です。同時に、お二人との通訳役、あいだを繋いで取り持ってくれる存在として、石若さんが山崎さんを連れてきてくださって、このチームが結成されました。

石若　そこから3回滞在して制作をしました。コロナ禍で2回は流れましたが、リモートでも準備をして、滞在制作とは別に実験として合計3回のライブもやりましたね。

安藤　最初の2回の滞在では、それぞれ持ち寄った開発のアイデアを石若さんに体験してもらって、リズムとメロディの個々の演奏エージェントを開発しました。開発が一段回進むごとに毎回、発表会をしていきました。

時里　その2回目の中盤から「耳」の話になって。エージェントに耳が欲しい、つまりは、繋がりを持つ、向こうが言っていることがわかって、こっちが言ってることがわかってもらえるということ。つまりは、リアルタイムで演奏を解析して、AI自身が判断してコミュニケーションをするという判断力が欲しいと常々感じていて。そのあたりから目指すべきものが見えてきました。

野原　エージェントがそれぞれの力を持つけれど、さらにひとつ上の視点から音楽的な判断をして、音楽全体から見て、それらが一つの要素として適宜選ばれるほうが、より立体的な演奏になるのではないかと思いまして。

小林　即興での演奏って何が必要なんだろうねと石若さんと話したときに、AIが扱いづらい「メタ認知」（知覚、情動、記憶、思考などの認知活動を客観的に捉え評価した上で制御すること）の部分が、まさにそれなんだと。その部分、つまり演奏を聴いて解釈する行為をコンピュータ上で模し、判断させることで、細かい表現から構成までを形作ろうというアイデアが、最終的に演奏全体の司令塔の役割を持った「メタエージェント」になったという形です。

——石若さんは、今回の作品制作で印象的だった部分は？

石若　もっとも面白いと感じたのは、AIの開発過程の部分でした。AIに自分の演奏を教えるためにV-Drumsを叩いたりしましたが、教えるためには、自分のことを知らないといけない。言語化できなければならない。そういった意味で、こんなにも長い時間、ドラムソロや、自分自身と向き合ったことはなかったです。これまでいろいろな音楽をやってきましたが、まったく新しい発見がありましたし、相当鍛えられました。

野原　言語化したことによって、新たにこういうことをやりたいという、石若さんの進化が起きたのかなと思います。石若さんが当初、自分の中から出てきたデータでどうにかしていきたいと仰っていたので、それによってご自身が鍛えられたり進化できたというのは、さっき言っていた、AIと人間同士のコミュニケーションとが、しっかり繋がってきたということなのかなと。

——今回開発したようなAIのシステムを、一般的に楽しめるアプリケーションなどへ展開するお考えなどもありますか。

小林　非常に夢があり私も作ってみたいです。そういったものは、例えばはじめて作曲する人をサポートするようなものであれば適切な形だと思います。しかし、今の技術を用いて作られた音楽AIのシステムは、ほとんどのプロフェッショナルなミュージシャンにとってはあまりに普通で、おもしろくないものになってしまうのではないかと考えています。今回開発したシステムは、ツールとしての一般配布には向いていないものかもしれません。

この作品は、石若さんと緻密にコミュニケーションをとりながら作り上げていったからこそ、さまざまな作り込まれた表現が実現したと思っています。石若さんの分身としてのAIを作るプロセス自体が作品の文脈のひとつを成り立たせていると共に、そのプロセスの中で石若さん自身とコンピュータが歩み寄っていくのが重要だったのかなと考えています。

野原　今回はAIがテーマでしたけど、ぶっちゃけ、必ずしもAIでなくてもよくて。ミュージシャンにとっての「自分なのに自分じゃないもの」とは何かを考えたり、自分の中の可能性をどう引き出すのかを考えるフレームワークとして捉えてもらうようなもので良いのかと。今回の制作では、それを考えることがもっともコアな部分だったと思います。

石若　自分の中から出てきたもので鍛えられる感覚でした。「自分は今、ここにいるのかー」という。やるたびに家に帰って練習したくなるんですよ。もっと練習して進化したい。昨日と同じことは絶対にしたくないので、毎回毎回違うことをやりたくなって、それの積み重ねです。そういった意味で、最初に思い描いた願いは、強く実現できましたね。

※

今回の試みは、純粋なパフォーマンス作品としての面白さもさることながら、演奏家の潜在能力を深化発揮させるというような、フレームワークとしての可能性を十全に秘めたものとなっていたようだ。

これは、今回のような純粋な即興演奏という枠組みで特に真価を発揮させるものとも感じるが、作品という「モノ」ではなく「コト」のデザインとして、非常に魅力的な可能性であると言える。今回の制作でさらなるバージョンアップを経た石若駿という演奏家とともに、今後のAIと音楽との関わりに大いなる期待を感じた機会であった。