AIとデュエットしてみた。～君は私の演奏意図を汲んでくれるのかい？

いま流行りのAI。猫も杓子もAI。AIを抜きにして21世紀は語れない。そしてそれは音楽の世界でも同じだ。AIとデュエットできてしまうのである。

2018年4月25日、ヤマハ銀座ビルにて、株式会社博報堂アイ・スタジオとヤマハ株式会社による体験型インスタレーション「Duet with YOO」がお披露目された。アメリカ・テキサス州オースティンで開催される「SXSW（サウス・バイ・サウスウェスト）2018」にて先駆けて公開されたこのインスタレーションは、ピアノが演奏者に合わせて伴奏してくれるシステムである。
百聞は一見にしかず、ということで、編集部員が実際に体験してみた。

細かなスペックはさておいて、全体像を見てみよう。
基本となるのは普通のアップライトピアノだが、前パネルの部分が全面スクリーンになっており、さらにピアノの後ろにも大きなスクリーンが設置されている。

映し出される映像は博報堂アイ・スタジオによるものだ。
人間同士ならアイコンタクトや身振り手振りでコミュニケーションを取ることが可能だが、ピアノが相手では話しているという気になりづらい。ここに映像が入ることによって、「ピアノとコミュニケーションしている」気分になり、演奏体験はよりインタラクティブなものになる。

ちなみに演奏している本人の視界には背面のスクリーンまで入らないが、動画を見返してみたところ、ダイナミクスやタッチ、テンポに合わせてリアルタイムで映像が変化していた。オーディエンス向けの視覚効果といえるかもしれない。VJの人工知能版といった印象。

そして、実際に話しかけてくるのである。
前パネル部分のスクリーンに表示された「一緒に演奏しようよ！」等々という文字と連動して、あたかも誘いかけてくるような音形が自動演奏される。人間の言葉で喋りだしたら面白みもないが、あくまで“彼ら”の言葉で語りかけてくる感じが微笑ましい。

誘いに応じて鍵盤を叩くと、ガイドラインとなる楽譜と音符がスクリーンに表示され、Duet with YOOが前奏を奏で始める。今回演奏できた楽曲は《きらきら星》。ピアノを習いたての子どもでも弾ける易しいメロディを、YOOがゴージャスに伴奏してくれる。

電子ピアノの自動伴奏機能やカラオケと何が違うの？　と思われるかもしれない。そこで人工知能の出番だ。
カラオケはあくまで人間が機械に合わせるもので、両者の間にインタラクティブ性はない。「Duet with YOO」は、あかたも伴奏者がソリストの呼吸を読むように、人間の演奏を解析して合せてくれるのである。スローに弾けばバラード調の伴奏をしてくれるし、スタッカートで弾けば軽快な伴奏になる。

あくまでインプット（＝打鍵）ありきなので、現段階では人間を先読みして反応してくれるところまではいかない。が、意外にも「演奏意図を理解してくれている」感覚があった。
出だしはゆっくり弾き始め、徐々にアップテンポ。再び静かにエンディングへ……という組み立てを意図して弾いてみたのだが、その微妙なニュアンスにしっかりついてきてくれる。「君がそう来るなら私はこう行くぜ！」「おっ、いいねえその伴奏」というワクワク感を、ちょっぴりかき立ててくれるのだ。

誰か一人が生み出したリズムに触発されて、他のプレイヤーがクリエイティブなレスポンスをする。掛け合いによるコミュニケーションが、グルーブを生み出す……というのが音楽の醍醐味だが、人工知能が相手でも、なんとなくコミュニケーションのようなものを実感できた点が面白かった。

技術的には、画像解析技術を使って人間の動作を読んだり、人間に自分の意図を伝えるために演奏を生成したりということも可能らしい（そのうち心拍数をはかって、「こいつ緊張してるから遅めのテンポで伴奏したろー」と気を利かせてくれたりするようになったりして……）。

人工知能の演奏というと何か無味乾燥なイメージが先行してしまい、特にアコースティックを基本とするクラシックのミュージシャンには馴染みづらいかもしれない。が、EDMやエレクトロニカはプログラミングありきで作られた音楽だし、誰もいまさらコンピュータの存在など意識しないだろう。実はとっくに音楽の世界にはテクノロジーが入り込んでいるのだが、「Duet with YOO」のユニークさは、人間とAIの双方向性にある。理想的な共創／共奏関係だ。

人間が機械を操る（時に機械に人間が操られていると感じることもあるが）という一方的な関係性ではなく、互いに刺激し合いながら新しいものを作り出す――そんな未来が垣間見えた体験だった。