バーチャルアーティストのピアノとオーケストラがライブで共演！ クラシック×デジタル技術の新たな音楽体験

ミューザ川崎シンフォニーホールの舞台、原田慶太楼が指揮する東京交響楽団の後ろにはスクリーンとスピーカー。スクリーンではタキシードのキャラクターがピアノを弾いている。一見、今までにもあった生演奏とアニメのコラボレーションのようだが、実はまったく違う。映像に音楽を合わせているのではなく、オーケストラとキャラクターがリアルタイムで「合奏」しているのだ。

キャラクターは「中の人」がいるバーチャルアーティストであり、彼は舞台ではない「どこかで」、「ライブで」演奏している。彼の動きは指先までモーショントラッキングされていて、すべてスクリーンのキャラクター「潤音ノクト（うるね・のくと）」に反映されている……。

※

株式会社KADOKAWAと株式会社ドワンゴとは、東京交響楽団の特別監修のもと行なう業界初の”バーチャルアーティスト”開発プロジェクト「ポルタメタ」のお披露目記者会見を6月26日（水）ミューザ川崎シンフォニーホールで開催した。

バーチャル空間とリアル空間の境界をなくし、オーディエンスにまったく新しいクラシック音楽の演奏体験を提供することを目指した「ポルタメタ」プロジェクト。プロジェクトのために開発された技術により、バーチャルアーティスト（ソリスト）とオーケストラが、物理的には異なる場所で生演奏を行ないながら、会場でアンサンブルすることを実現した。

会見では、本プロジェクトで開発したバーチャルアーティスト（ピアニスト）潤音ノクトの3D演奏姿、そして「リアルタイム運指反映システム」をはじめて披露。8月12日（月・振休）に開催される「フェスタサマーミューザKAWASAKI 2024」の東京交響楽団との共演に向けたとのテクニカルリハーサルが公開された。

▼今回、新たに開発された「リアルタイム運指反映システム」は、バーチャルピアニストがオーケストラとライブ共演する際、演奏技術と表現力の両面で違和感のない完璧なパフォーマンスをリアルタイムに再現する。具体的には、繊細かつ高速なピアノ演奏に対応するために「正確でなめらかな指と鍵盤の動きを再現し、音と3D映像のタイムラグの最小化する」という技術課題に取り組んだ。その結果、モーションキャプチャ技術とMIDIデータ認識の組み合わせを基盤とした手法を構築し、数々のテストと細かい調整を経て新システムの開発に成功。これにより、演奏のリアリズムと精度が大幅に向上し、観客に新しい形の音楽体験を提供することが可能となった。

リハーサルではガーシュウィン作曲ピアノとオーケストラのための《ラプソディ・イン・ブルー》が演奏された。丁度100年前の1924年にニューヨークで行なわれた「新しい音楽の試み」というコンサートで初演されたこの作品は、今回の企画趣旨にもピッタリだ。

ピアノと原田／東京交響楽団のアンサンブルに、大きな違和感は感じない。潤音ノクトの動きは当然、音楽としっかりリンクしている。このテクノロジーは精度があがればあがるほど、「凄さ」が見えなくなっていく。そういった意味では、この公開リハーサルは成功だった。

「本番が近くなるにつれ、クラシックの世界で新しい一歩を踏み出そうとしていることを実感している」と潤音ノクト。「（ピアノとオーケストラのアンサンブルにあたって）遅延があるなら参加していない」と技術周りへの信頼を断言し、「テクノロジーとクラシックがマリアージュした素敵な空間になる」とマエストロ原田は意気込んだ。

ポップスの世界では、武道館単独ワンマンやアリーナを埋めるファンを持つ「デジタルアーティスト」もいるこの分野に、クラシック音楽業界はどう適応・展開していくのか。その第一歩を「ポルタメタ」は踏み出した。

※

人前に出ることを嫌い、31歳でライブ演奏をやめ、コミュニケーションも対面ではなく手紙や電話を好んだピアニスト、グレン・グールド。彼が生きていたら、この企画に反応したかもしれないな、と筆者は想像してしまった。

クラシック音楽の基本であるライブ演奏の舞台で、「姿、性別、年齢、国籍」に関係なく音楽的な才能と個性だけで勝負できる……クラシック音楽の未来を感じずにはいられない。