【特別取材】音楽ライブ・ビジネスに革命を起こす自動撮影システムについてソニーミュージックに聞いてみた（前編）「未来は音楽が連れてくる」連載第76回

福田：今回のプロジェクトで作ったシステムは主に自動追尾システム、カメラロボット、ARで構成されています。

開発目標は「音楽ライブ撮影及び配信のコスト、及び技術ハードルを下げる」ことでした。このシステムを利用する演者さんやマネージャーさんが技術のことを全く気にせず、ライブ制作、演奏に集中できるようにすることです。

コストに一番響いてくる項目が人件費ですので「まずは全てのカメラを無人にしよう」と。そのためにまずライブ中継のプロたちにたくさんヒアリングして、Zepp規模のライブ収録に最適なカメラ台数を決めました。

ちなみに収録に使うカメラのうち1台は4Kカメラを採用しました。こちらは4Kカメラとして使うのではなく、4Kの高解像度映像から3つのHD映像をトリミングして三台分の働きをこなせるようにしてあります。

次にどうやったらその無人のカメラを制御し、演者を自動で追跡できるようにするか、頭を悩ませました。今回は演者の衣装に「コンパクトタグ」を付けていただき、その位置情報を追跡する方法を採用しました。このタグの位置を追跡する「UWBセンサー」をKT Zepp YokohamaとZepp Haneda（TOKYO）に仕込んであります。

そして全ての無人カメラをタッチパネルで制御するインターフェースを開発しました。その結果、カメラをコントロールするディレクター1名と、映像を選択するスイッチャー1名の合計2名だけでライブ収録が可能になります。これで大幅に人件費を削減できました。

タッチパネルを採用したUIで、カメラごとに8つのアングルをプリセットすることが可能です。一度決めてしまえばバストアップ、引きのアングル、手元のアングルなど、タッチひとつで各カメラに指示することができます。

それと「自然な手ブレ」にもこだわりました。これは僕らSME側の要望だったんですが、カメラを無人にすることにより機械的な無機質な映像にならないよう、敢えて自然な形の手ブレをソフトウェアで作り出す機能の開発をお願いしました。

榎本：ニュースを読んだとき「ロボットで動きがピタッと決まるとつまらない映像にならないか」と危惧したんですけど、そこも対策済みということですね。

原口：監視カメラみたいな映像にならないよう、いかに「自然な手ブレ」を出すかにこだわっています。

屋代：カメラを担いだカメラマンが走り回っているみたいな。

畑：これは専属のオペレーターが操作しているんですか？

福田：今はそうなんですけど、いろいろな監督のアルゴリズムを用意して、例えば映像機材に詳しくないマネージャーさんでも「あの監督っぽい映像」をつくれるように開発中です。

他にも例えばライブ中継って1カメがボーカルを狙いにいったら、2カメ、3カメはギターとベースにいくというディレクターごとのセオリーがあるのですが、こういう動きも自動で実現できるよう開発しているところです。ここまで行くとスイッチャーひとりで全部できるようになります。

榎本：むかしスイッチャーとディレクションを一人でやることもあったんですが、それってカム付けて喋ってたんですけど「1カメにボーカルのバストアップの指示を出しているから2カメの俺はギター行こう」みたいなチームの阿吽の呼吸があったから出来たと思うんですよね。こういう阿吽の呼吸を自動で担うってことでしょうか？

福田：そうです。我々は多くの音楽ライブ収録のノウハウを持っているのである程度パターン化することは可能だと考えています。また、カメラ制御とスイッチャーを連動させることによって、例えばスイッチングした瞬間に自動でズームを始めるとか、ミスを減らすことにも繋がります。

屋代：ここまですごいとカメラマンはAIに仕事を取られてしまうかも…。

福田：僕らはカメラマンの仕事を奪うつもりは全くありません。我々は主に予算面で収録することができないたくさんの素晴らしいライブを映像にしていただきたいと考えています。

屋代：実際の映像を見るともう人間がやってるのと見分けがつかないですね。

榎本：厳密にいうと「これは人間はやらないかな」というのもあったんですが、それは僕が昔、撮影現場にいたから気づく話で、ふつうの人は分からないんじゃないかなあ。

福田：ありがとうございます。先ほどの4K映像のトリミングも実は課題がまだあって、切り取った分、解像度が落ちるというのがあります。

榎本：しかしエンコードして配信してしまえば？

福田：スマホで見るとわからないレベルだと思います。

榎本：なるほど。すごいですけど、まだまだやれることはある、ということですね。

福田：おっしゃるとおりと思います。

スポーツ等、音楽ライブを超えて利用可能に

屋代：いずれはすべてのZeppにこのシステムを？

福田：はい。人物の位置捕捉の為にたくさんのセンサーを会場に設置する必要があるのですが、現状このセンサーを設置しているのはKT Zepp YokohamaとZepp Haneda（TOKYO）の2館のみになります。ただしこのセンサーはセッティングも難しく、チューニング、メンテナンスにも多くのコストがかかってしまうことが判ってきました。

その為、これらの問題をクリアすべく、別のセンサーを使った新システムを開発中です。このシステムが完成すれば、Zepp以外のあらゆるライブ会場で無人カメラによる撮影、ライブ配信ができるようになります。こうして使用機材をより安価にダウンサイズすることにより、導入コストやメンテナンスコストを下げて世界中のライブハウスに使ってもらいたいなと思っています。

榎本：別のセンサーというのは？

原口：我々は今、持ち運び可能な小型なセンサーだけで人物を追跡できる仕組みを狙っています。

榎本：なるほど。新方式は持ち運び可能と…。

原口：そうです。今夏を目標に開発中です。

屋代：新方式なら下北沢にあるような小さなライブハウスでも…。

原口：機材を運び込むだけで、できるようになります。汎用性が高いので。

榎本：いずれはスマホを複数並べておくだけでもあとはAIがまとめてくれて、誰でも本格的なライブ中継を配信できる時代が来るかもしれませんね。

福田：そうですね。人物補足のシステムは今後もアップデートしていきます。また、カメラロボットも初期からずいぶん改良が進んでいます。さらにカメラ側のアップデートも続けていけばいずれ、スマホでも利用可能になるかもしれませんね。

屋代：いずれ音楽だけでなくスポーツやドラマもカメラマンなしで撮影できてしまう？

福田：裏話をすると、ダンスなど動きが激しいパフォーマンスの自動ライブ撮影配信はまだ開発途中です。とにかく演者の動きが早い。スポーツは音楽ライブと違ってフィールドが広いので、スポーツに合った方式を開発する必要が出てくると思います。

屋代：たとえばボクシングとか狭い場合は？

福田：移動スピードが速すぎるとなかなか追いきれないとか、新しい課題が出てくると思います。カメラの性能も違ったスペックが必要になるでしょうし、、、。

原口：音楽ライブでも演者の動きが速い、照明の変化が激しいなどの厳しい条件があるので、まず音楽ライブでシステムを鍛えておけば他のジャンルにも横展開しやすいというメリットもあります。

戸井田：あと今の仕組みだと演者の衣装にコンパクトタグをつけなければいけないのですが、新しい方式ならそういうことも不要になり、その部分でもハードルを下げられます。

ライブ配信コストを300万円から10分の1に削減

福田：コストダウンの効果ですが、通常、Zeppクラスで音楽ライブ収録をする場合、平均的に200～300万円の予算が必要だと思いますが、我々のシステムでは30万円でサービスを開始します。

Musicman一同：10分の1かあ。すごい！

榎本：そこまで下げられたら大物じゃなくても中堅アーティストならライブ配信で黒字化できますね。

屋代：それこそ学園祭レベルのライブであっても、しっかりとした映像を残せる時代になりますね。

戸井田：はい。予算が十分でないアーティストさんたちのために開発したものではありますが、ビッグアーティストさんのライブ配信をサポートするのにも使えると思います。例えば有人のカメラと我々の無人カメラを組み合わせて、スイッチャーさんが選べる映像を増やすことも出来ます。

基本の目標はライブ配信のコストを下げて、制作予算が限られているアーティストさんにも、気軽にライブ配信をしてもらえる事を目指しています。

新システムは宅配便で送れるほど手軽に

榎本：他社さんから「使ってみたい」というお話は来ているのですか？

福田：Zeppでの開発が一段落したので、今後は別のベニューにも導入いただけるように開発を進めています。都内をメインに、様々なライブハウスさんに協力いただいて、実験をさせていただいております。

榎本：もう持っていってるんですね！

福田：はい。他にも野外フェスとか、ほんとうはライブ配信したいけど予算の関係で収録や配信を断念しているイベントはたくさんあると思います。開発中の新システムであれば、宅配便で機材をフェス会場に送って、あとは2～3名程度のオペレーターが乗り込めば収録、配信できるようになります。これが僕らの次の目標のひとつです。

榎本：音声に関してはどうですか？

福田：基本的にはPAさんからいただいていますが、それもクライアントさんのご要望次第で対応します。音声収録の分野でも、空間オーディオなど新しい技術がいろいろと出てきていますので最終的には市場を見ながら対応していければという感じです。ただ、現状ではまずコストダウンによって収録、配信のハードルを下げていくことに専念している最中です。

屋代：30万円というのはスイッチャーさんとかの人件費込みで？

戸井田：はい。正直、30万円はほんとうに安くて、エンコーダーなどの相場を見ていて最初は100万円で始めようかと話していたんですよ。ただ、コロナ禍が終わってライブ配信だけしか出来ない時期が過ぎ去って、100万円だと予算の少ないアーティストさんには使ってもらえない。それだと意味がないので、プロダクションなどにいろいろヒアリングなどもして検討した結果、30万円から始めてみようか、となったのが正直なところです。

畑：安いですね。私がすぐ使いたいです。ライブ配信って機材だけの人件費抜きでも下手したら数十万円かかりますよ。

戸井田：五年ぐらいでの利用予測と償却費から逆算してあるので、それほど無謀な値段ではないのですが。

無料ライブ配信で使ってほしい

屋代：無人カメラで配信したライブイベントはいま何本ぐらいになっているんですか？

福田：実証実験の段階ではすでに多数のイベントで撮影収録していますが、実ビジネスとしては先日発表したばかりなので、新規の申込みはまだこれからという感じです。コロナが落ち着いて有料ライブ配信はダウン・トレンドに入っていると言われていますが、実感としては売れるものと売れないものがはっきりと分かれてきたと感じています。我々のシステムも、有料配信だけでなく、YouTube向けなど、ライブの魅力を伝える為の映像素材収録などでも活用してもらえれば、と思います。

実際、開発中に僕らがとてもうれしかったのが、デビュー前の新人バンドの皆さんからのコメントです。「これからデビューするんですけど、スマートフォンを固定して撮った映像しかなくて…」というアーティストさんのライブ映像をこのシステムで撮ったら、とても喜んでいただけました。「このクオリティすごいですね」と言って下さって、僕らも本当にうれしかったです。

屋代：これはプロモーションでも使ってほしい、と。

福田：これからそういうトレンドになるんじゃないかなという気がしてます。そもそもこれはZeppの魅力を高めるシステムと思っていますし。映像の世界は1年で目まぐるしく変わるので、僕らもマーケティングを続けながらこのシステムのあり方をアップデートしていきたいと思っています。

畑：エンタメとハードの両方を持っていて、動きが速くて、太っ腹。ソニーグループさんならではの開発ですね。