ANYCOLOR、stuとリアルタイムMRライブシステム共同開発 新技術実証実験イベント開催

ANYCOLORとstuはVTuberに特化したMRライブシステムを共同開発。2025年1月8〜9日に開催された「ANYCOLOR/にじさんじ 新技術実証実験イベント ver.2025.01」にて実証実験を実施した。

本イベントはMeta Quest3とXperiaで体験可能なMR形式のライブイベントとなっており、にじさんじ所属タレント・加賀美ハヤトと司会進行の百花繚乱が出演。観客を交えたトークと、音楽ライブの2つのイベント形式で実証実験をおこなった。

従来のVTuberの音楽ライブは、会場のLEDモニターに映し出された映像を観客が視聴する体験が主流だったが、今回開発したシステムでは、ヘッドマウントディスプレイやスマートフォンを通じて、体験者自身の視点でリアルタイムに鑑賞できる新しいライブエンターテイメントの提供を目指すもの。

このシステムでは、低遅延のデータ伝送により、VTuber・司会者・観客がリアルタイムでコミュニケーションを取ることが可能で、音声はイヤホンではなく、通常のライブと同様に会場のスピーカーから出力する設計とし、より臨場感のあるライブ体験を実現した。

本システムは、VTuberが目の前に存在しているかのような体験を提供するために、VTuberライブ専用の伝送システムとMR合成システムの2つを新たに開発。リアルタイムでの相互コミュニケーションを可能にするためには、キャラクターのモーションや照明などの演出信号を、複数のヘッドマウントディスプレイやスマートフォンに対して低遅延で伝送する必要があった。

そこで、ANYCOLORと共同開発したVTuberライブに特化した独自のデータ圧縮技術を基に、新たな伝送システムを導入。映像の遅延や同期ズレを最小限に抑えることで、リアルタイムMRライブを実現した。

実写とCGの合成において、リアルタイムで高精度な映像を生成することが課題となっている。ライブイベントを想定した合成を行うためには、ステージ美術とキャラクターの前後関係を正確に表現しながら、リアルタイムの照明演出を反映させる必要がある。しかし、従来のAR/MR技術ではこの表現が困難となった。そこで、ライブイベント向けの新たな合成手法を開発し、キャラクターと会場の音・照明が連動するVTuber専用MR合成技術を実現した。

また、大量のデータを安定して伝送するために、会場のネットワークインフラを再設計。一般的な会場の無線環境は、大量のデバイスへのリアルタイムデータ送受信を想定していないため、MRライブの実現には課題も。今回、リアルタイムMRライブに最適なネットワーク機材を導入し、データの流れを最適化し、オペレーターの負担を軽減しながら、安定したデータ配信を実現した。

リアルタイムMRライブシステムの開発により、キャラクターIPがより身近に感じられる没入型体験が可能になり、従来にない自由度の高いコンテンツの提供が可能に。この技術となった、ライブイベントだけでなく、ゲーム・展示会・テーマパーク・ショッピングモールなど、さまざまなエンターテイメント分野への応用が可能となる。