わずか3秒で人の動きを3Dデータ化できる！？「ボリュメトリックビデオシステム」とは

01ボリュメトリックビデオとは？360度動画やモーションキャプチャとの違い

ボリュメトリックビデオとは、被写体を多数のカメラで囲んで同時に撮影し、人や物の形・色・動きを、時間ごとの3Dデータとして記録する技術のことです。平面の映像に加えて、体積（volume）の情報まで記録することから、この名前が付きました。キヤノンは「時間と空間を丸ごと撮影して3Dデータ化する技術」と説明しています。日本の放送業界では、できあがる映像を「自由視点映像」と呼ぶことも多い技術です。

記録したデータが3Dなので、撮影後に仮想のカメラを好きな位置に置けます。被写体の周りを回り込む映像も、時間を止めた映像も、撮影のあとで作成できるわけです。人の動きを記録するほかの方法と比べると、違いは次の表のようになります。

360度動画は、カメラを置いた定点から、周囲の全方向を撮影した映像です。そのため、視聴者は向きを変えて見回すことはできても、カメラの位置から動くことはできません。VRの分野では、このように頭の向きだけを変えられる状態を「3DoF」、位置まで動かせる状態を「6DoF」と呼んで区別しています。一方、モーションキャプチャは体の動きを数値として記録する方法で、主にCGのキャラクターを動かすために使われてきました。

これに対してボリュメトリックビデオは、本人の見た目のまま、6DoFで周囲を回り込んで見られるのが強みです。ただし、カメラに写らなかった部分を3Dデータにするのは難しいのが現状です。そのため、どの事例でも、被写体を多数のカメラで隙間なく囲み、死角をなくしています。

02わずか3秒で3Dデータになる仕組み

キヤノンの説明では、ボリュメトリックビデオは次の3段階で作成されます。

1. 被写体を、さまざまな角度のカメラで同時に撮影する
2. 被写体以外の部分を削り、被写体だけを3Dデータにする
3. 背景の3Dデータと合成し、仮想のカメラで映像にする

東京ドームでは、内野の上の空間に、3mm角の小さな立方体（ボクセル）を敷き詰めたブロックを仮想的に置いています。そこから、各カメラの映像で選手が写っていない部分を削っていくと、最後に選手の形だけが残ります（日経クロステック）。輪郭を手がかりに、何もない空間を削って形を取り出すこの考え方は、コンピュータビジョンの分野で「視体積交差法（Visual Hull）」と呼ばれる手法です。残った形には、映像から色を貼り付け、あらかじめ3Dデータで用意した球場の背景と合成します。

この方法では、カメラが1台でも違う瞬間を撮影していると、削る位置がずれて形が崩れてしまいます。そこで東京ドームでは、カメラどうしの同期を「マイクロ秒以下」の精度でそろえています（CIO）。カメラは、シネマカメラ「EOS C300 Mark II」を改造した4Kカメラです。

それでも、2019年に約1時間かかっていた処理を、3秒まで縮めるのは簡単ではありません。キヤノンは「サーバーとは別に画像処理の一部を自社技術でハードウエア化した」と説明しています。つまり、計算の手順を工夫しただけでなく、処理の一部を専用の回路に置き換えたことが、3秒という速さにつながったわけです。

03ボリュメトリックビデオが使われている3つの分野

スポーツ中継：東京ドームのリプレー映像

始まりは、2022年に日本テレビから「野球でも使えないか」と打診があったことでした。東京ドームの巨人戦で2回の試験撮影を行ったところ反響を呼び、2023年シーズンから常設のシステムになっています（日経クロステック）。カメラを取り付けたのは、観客席の上をぐるりと1周するキャットウォークなど、ふだん照明などの機材を設置している場所です。グラウンドを上から囲むように機材を置ける屋根付きの球場は、多数のカメラで囲む撮影にもともと向いていたといえます。ただし、バックスクリーンの上など一部にはカメラを置けず、配置は変則的になっているそうです。

キヤノン・日本テレビ・読売新聞東京本社のこの取り組みでは、ファインプレーの瞬間に時間を止めて上下左右から回り込む映像や、選手の目線から見た映像が放送されました。第50回放送文化基金賞（放送技術部門）も受賞しています。さらに2024年シーズンには、スマートフォンやVRゴーグルで、捕手や一塁手などの視点から中継を視聴できるようになりました。

2025年3月に東京ドームで開催された大リーグの開幕シリーズでも、この映像がリプレーに使われました。米国のFOX Sportsは、大谷翔平選手のホームランの映像をSNSで紹介しています（CIO）。日経クロステックが「大リーグの先行く巨人戦」と書いたとおり、日本の球場で先に実用化された技術が、大リーグの公式戦でも使われたわけです。

音楽・映像制作：スタジオで撮るミュージックビデオ

ニコンの子会社であるニコンクリエイツは、2022年10月から、東京・平和島の撮影施設で「POLYMOTION STAGE」を使った制作サービスを提供しています。100台以上のカメラで被写体を囲むスタジオで、1回の撮影で360度の3Dデータを取得できるため、カットを変えて撮り直す必要がありません（デジカメ Watch）。撮影後にアングルやズームを変えることも、1人ずつ撮影したメンバーを合成してグループの映像にすることもできます。

ミュージックビデオの撮影では、同じ曲をアングルごとに何度も演奏し直すことが少なくありません。その「テイクの数」を、カメラの台数で置き換えたのがこのスタジオだといえます。

伝統芸能：能の舞台を3Dで残す

2021年7月、キヤノンと日本IBMは、芸術・芸能の分野での協業を発表しました。その第一弾が、宝生流の家元・宝生和英氏が演出した能「葵上」のボリュメトリック映像です。能楽師の演技を川崎市にあるキヤノンのスタジオで撮影し、実在する能楽堂を計測して作成した3DCGの中に合成しています。キヤノンのサイトには、ほかに仕舞「熊坂」や、デジタル音楽と組み合わせた「序の舞」も掲載されています。

能楽師の所作を、客席からは見えない真上や背後からも見られる形で残せば、記録はそのまま、型を学ぶための資料にもなります。CIOの記事でも、寿司職人や介護の技術のような「匠の技」を伝えるための撮影が増えていると紹介されていました。

04ボリュメトリックビデオはこれからどうなる？課題と新しい手法

今のボリュメトリックビデオは、東京ドームのように会場にカメラを常設するか、キヤノンやニコンクリエイツのようにカメラを常設したスタジオで撮影するか、のどちらかが中心です。どちらにしても、専用の設備が欠かせません。

課題：設備の費用とデータの重さ

スタジアムへの設置に時間と費用がかかることは、キヤノン自身も課題に挙げています。また、見る人が視点を自由に操作する段階になると、データの容量も問題になるそうです（CIO）。スタジオで撮影する場合も、撮影できる範囲はスタジオの広さまで。キヤノンの川崎のスタジオなら、8m×8mです。

被写体による得意・不得意もあります。髪の毛のように細かく複雑に動くものは、研究の分野でも3Dで捉えるのが難しい対象とされてきました。東京ドームのように3mm角のボクセルで形を作る場合、それより細い髪の毛1本1本までは表せません。

新しい手法：4D Gaussian Splatting

こうした課題に対して、研究の分野では別の作り方も登場しています。その1つが、写真のような3D空間を作成する3DGS（3D Gaussian Splatting）に、時間の変化を加えた4D Gaussian Splatting（4DGS）です。ボクセルの代わりに、色と形を持つ小さな粒（ガウス分布）を空間に並べ、その粒の位置や形を時間とともに変化させて、動きのある場面を表します。

2024年に発表された論文では、動きのある場面を、GPU（RTX 4090）1枚で毎秒最大583コマ描画できたと報告されています。一般的な動画の毎秒30コマの約20倍です。ただし、これは研究の段階の数字で、実際の制作に使うにはまだ検証が必要です。4DGSの仕組みは、WANの記事「これが 4D Gaussian Splatting だ！」でも解説しています。

05まとめ：3秒の速さを支える技術とこれからの広がり

ボリュメトリックビデオは、人の動きを見た目ごと3Dデータとして記録し、あとから好きな視点で見せられる技術です。東京ドームの「3秒」は、視体積交差法という昔からある考え方を、マイクロ秒単位の同期と専用のハードウエアで中継の速さまで引き上げた成果でした。

活用はスポーツ中継から、ミュージックビデオの制作や能の記録、「匠の技」の継承にまで広がっています。その一方で、設備の費用とデータの重さという課題は残ったままです。4DGSのような新しい手法が、この壁をどこまで下げられるかが、次の数年の見どころになるでしょう。

WANでは、3DGSや4DGSをはじめ、空間や人の動きを3Dで記録する技術を、これからも追いかけて紹介していきます。

この記事に関連するサービス

XR・3DCGのコンテンツ制作
3Dデータや3DGSを使ったVR・ARのアプリ、CGとの合成映像、Webでの公開まで制作します。

相談する