撮影した現場で掘削の練習ができる？ 3DGSを建機シミュレーターに取り込む方法と課題
公園を計測した3DGSを、景色はそのままに、掘る範囲だけ土の計算に置き換えた試作の記録
建機シミュレーターの訓練場は、ふつう3DCGで作ります。現場を計測したデータをそのまま訓練場にできれば、着工の前に、その現場の景色の中で操作を練習できるようになります。
その材料になるのが3DGS（ガウシアンスプラッティング）です。2023年にInriaなどのチームが発表した手法で、論文は1080pで毎秒100コマ以上の描画をうたっています。WANは、公園を計測した3DGSを建機シミュレーターに取り込む試作を行いました。
この記事のポイント
3DGSの景色だけでは、掘削の練習はできない
3DGSは見た目を記録した粒の集まりで、地面の形を変えられません。試作では、20m四方の掘る範囲だけを、掘れる土の計算に置き換えました。
「景色・掘る範囲・つなぎ目」の3つに分けて作る
景色は3DGSのまま描き、掘った所だけ地面の粒を消し、重機の影を粒に落として、境目を運転席から見えないようにしました。
VRで使うには、描画をもう一段軽くする必要がある
モニターでは描画に余裕がありました。一方、VRヘッドセットでは毎秒72コマに届かず、景色がゆらぐ課題が残っています。
013DGSをシミュレーターに使うとは？3DCGや点群で作る現場との違い
3DGSは、現場を「色と形を持った半透明の粒」の集まりとして記録します。写真を撮るように計測するだけで、建物の窓や樹木の葉、地面の模様まで、見たままに近い景色を再現できるのが特長です。
シミュレーターの訓練場を作る方法は、3DGSのほかにもあります。それぞれ、記録できるものと、シミュレーターで使うときの向き・不向きが違います。
| 作り方 | 記録できるもの | シミュレーターでの使いやすさ | 苦手なこと |
|---|---|---|---|
| 3DCG（手で作る） | 作った形と質感 | 地面を掘れる・物に当たるなど、動きを自由に作れる | 実在の現場を作り込むほど手間がかかる |
| 点群 | 形（点の位置と色） | 寸法を測れる | 近くで見ると点の間がすけて、景色に見えにくい |
| メッシュ（写真から作る面） | 形と表面の写真 | 当たり判定に使える | 樹木や細い柵などの細かい物が崩れやすい |
| 3DGS | 見た目（粒の色・形・透明度） | 細かい物まで見たままに近い景色になる | 粒の形は変えられず、当たり判定も無い |
3DGSが得意なのは景色です。しかし、建機シミュレーターで練習したいのは、地面を掘って土を積む操作です。そのため、試作では現場を「景色」「掘る範囲」「つなぎ目」の3つに分けて考えました。景色は3DGSに任せ、掘る範囲だけを土の計算に置き換え、その2つの境目が見えないように仕上げます。
図1の運転席の窓から見える遊具・建物・樹木は、すべて3DGSの粒で描いています。
023DGSだけでは掘削の練習ができない理由
3DGSの景色をそのままシミュレーターに読み込んでも、重機で地面を掘ることはできません。3DGSは見た目を記録したデータで、地面の「面」を持っていないからです。
| 3DGSの性質 | シミュレーターで困ること | 試作での対処 |
|---|---|---|
| 粒の位置と形が決まっている | 掘っても地面がへこまない | 掘る範囲だけ、掘れる土の計算に置き換える |
| 面や厚みの情報が無い | 重機が地面をすり抜ける | 粒から地面の高さを推定し、見えない地面を敷く |
| 明るさと影が写真に焼き込まれている | 重機の影が景色に落ちない | 重機の影だけを計算して、粒を暗くする |
| 粒の数が数百万になる | 描画が重くなる | 用途に合わせて粒の数を減らした版を作る |
図2の左は、試作の景色をすべて描いた画面、右は3DGSを消した同じ画面です。3DGSを消すと、残るのは掘れる土の区画（36m四方）だけになります。つまり、利用者が見ている景色のほとんどは3DGSで、重機が実際に触れているのは足元の土の区画ということです。
03公園の3DGSを建機シミュレーターに取り込んだ試作
試作に使ったのは、公園をXGRIDSのハンディスキャナー「Lixel K1」で計測し、3DGSにしたデータです。粒は約554万個、ファイル（PLY形式）は376MBありました。取り込み先は、WANの建機シミュレーター「メタトレ」の土の試験場です。
景色：公園の3DGSを粒のまま描く
3DGSは、シミュレーターの3DCGとは別の仕組みで、画面に重ねて描きます。色の調整（トーンマップ）を通すと写真の色が変わってしまうため、色の調整のあとの画面に重ね、重機や地面の手前・奥を比べて描き分けました。モニターで使う版は250万粒、VR用は150万粒に減らしています。粒は画面での大きさが小さい順に間引くので、運転席から見ると、150万粒と全部の粒の差は遠くの建物の細かさに少し出る程度でした。
掘る範囲：広場の20m四方だけを土の計算にする
掘る範囲は、広場の中で物が無く、平らな所を選びます。試作では、3DGSのファイルと現場の名前を渡すと、真上から見た図とおすすめの範囲を出し、地面の高さ・土の表面の色・描く粒をまとめて作るコマンドを用意しました。この公園では、1回の実行が約1分で終わります。
土の区画の表面には、真上から見た3DGSの色を貼っています。そのため、掘る前の区画は、周りの3DGSの地面と同じ模様に見えます。
つなぎ目：掘った所だけ地面の粒を消す
区画の中の地面にも、3DGSの粒は残しておきます。そのうえで、土の高さが最初から3cm以上変わった所だけ、その上の地面の粒を描かないようにしました。図4の左がこの処理を入れた画面で、穴と積んだ土だけが見え、周りは3DGSの地面のままです。右は処理を外した画面で、地面の粒が穴の上にふたのように残っています。
重機の影も、つなぎ目の一つです。3DGSの影は写真に焼き込まれているので、シミュレーターで動かした重機の影は景色に落ちません。そこで、太陽の向きから重機だけの深さを撮り、影に入る粒を45%暗くしました。また、土は計算で照らすため、そのままでは3DGSの地面より12〜15%明るく見えました。土の表面の色に0.87を掛けてそろえたところ、運転席の高さからは区画の縁がほとんど分からなくなっています。
マーケターのひとこと
現場を計測するときは、見せたい建物や設備に目が行きがちです。しかし、シミュレーターに取り込むなら、重機を動かす広場の地面こそ大事なデータになります。地面の粒が粗いと、掘る範囲の色や高さも粗くなるからです。計測の前に「どこで重機を動かすか」を決め、その地面を歩いて丁寧に撮っておくと、取り込んだあとの仕上がりが変わります。
04試作で測った3DGSの描画の重さ
3DGSをシミュレーターで使うときに気になるのは、描画の重さです。試作では、同じ場面で3DGSを描くときと描かないときのGPUの時間を測り、その差を3DGSの分としました。条件は、ノートPC（GPUはNVIDIA GeForce RTX 5070 Laptop、8GB）、画面は1920×1080、開発用のエディタでの実行です。
| 粒の数 | 3DGSの描画にかかった時間（運転席の視点） | 重機の影も落としたとき |
|---|---|---|
| 150万（VR用） | 1.7ms | 2.3ms |
| 250万（モニター用） | 2.2ms | 3.0ms |
| 全部（取り込み後の535万） | 4.6ms | 測っていない |
毎秒60コマで動かすには、1コマを約16.7msに収める必要があります。250万粒の版では、3DGSを足しても1コマは13〜14ms（毎秒70〜75コマ）でした。モニターで操作する訓練なら、3DGSの景色を足しても描画に余裕があるといえます。粒の並べ替えをGPUで行う形にしたため、CPUの負担も増えていません。
053DGSを建機シミュレーターで使うときに残る4つの課題
モニターでは使える見た目になった一方で、試作ではいくつかの課題も見えました。どれも、計測のしかたか描画の作り方で補える見込みがあります。
| 課題 | 試作で起きたこと | 次の手 |
|---|---|---|
| VRで描画が間に合わない | Meta Quest 3では毎秒22〜35コマで、必要な72コマに届かず、景色と掘った穴がゆらいで見えた | 粒を半分の解像度で描くと、両目の3DGSの分が6.7msから2.9msに減った（両目の画面をまねた計測）。ヘッドセットでの確認はこれから |
| 地面の高さが粗い | 3DGSの粒から地面の高さを推定したため、2〜3cmのざらつきが残った | LiDARの点群（XGRIDS K2など）か、計測ソフトが作るメッシュから地面の高さを作る |
| 光と影が動かせない | 建物や樹木の影は写真に焼き込まれていて、シミュレーターの太陽を動かすと合わない | 訓練の時刻を、計測した時刻に合わせる |
| 掘る範囲の中の物が残る | 範囲の中の木やベンチは、地面から3mまでの粒しか消えない | 物の無い広場を範囲に選ぶか、範囲の中の物を別に扱う |
VRのゆらぎは、描画が毎秒72コマに間に合わないと、ヘッドセットが足りないコマを補って作ることが一因です。そのため、3DGSを足しても毎秒72コマを保てるかが、VRで使えるかどうかの分かれ目になります。
マーケターのひとこと
VRとモニターのどちらで訓練するかは、最初に決めておきたいポイントです。同じ3DGSでも、VRでは両目の分を高い解像度で描くので、モニターより何倍も重くなります。まずモニターで操作を覚え、慣れた人がVRで仕上げる、という分け方もあります。VRで使う予定があるなら、粒の数と画面の解像度を下げた版を最初から用意しておくと安心です。
063DGSの計測からシミュレーターへの取り込みまでWANに相談する
ここまでの「景色・掘る範囲・つなぎ目」は、計測とシミュレーターの開発をまたぐ作業です。WANは、XGRIDS K2での3D計測、3DGSをブラウザで見るビューワー「Machica」、建機シミュレーター「メタトレ」を、どれも自社で手がけています。
- 景色を計測する：XGRIDS K2で、点群と3DGSを1回の計測で作ります。地面の高さに使う点群も同時に取れます
- 景色を確かめる：Machicaで、取り込む前の3DGSをブラウザで見回し、掘る範囲の候補を関係者と確かめられます
- 掘る範囲を作る：メタトレの土の計算で、掘る・積む操作を練習できます
- つなぎ目を仕上げる：この記事の試作で作った取り込みの仕組みを、現場ごとのデータに合わせて調整します
なお、3DGSの取り込みは試作の段階で、メタトレの製品にはまだ入っていません。実際の現場のデータで試したい場合は、受託開発や共同研究としてご相談ください。
07まとめ：3DGSのシミュレーターは「景色・掘る範囲・つなぎ目」で考える
3DGSは、現場を見たままに近い景色として記録できます。ただし、それだけでは掘削の練習はできません。訓練場にするときは、次の3つに分けて準備します。
景色：重機を動かす広場まで丁寧に計測する
建物や樹木だけでなく、重機を動かす地面を歩いて計測します。VRで使うなら、粒の数を減らした版も用意します。
掘る範囲：物の無い平らな所を選ぶ
掘る範囲の中に木やベンチがあると、粒が残ります。広場の中で、物が無く平らな所を選びましょう。
つなぎ目：影と明るさを景色にそろえる
掘った所の粒を消し、重機の影を粒に落とし、土の明るさを3DGSの地面に合わせると、運転席から境目が見えにくくなります。
計測する現場、重機を動かす範囲、訓練に使う画面（モニターかVRか）の3つを決めてから、3DGSの計測とシミュレーターへの取り込みを進めることをおすすめします。
出典・参考
Bernhard Kerbl ほか「3D Gaussian Splatting for Real-Time Radiance Field Rendering」ACM Transactions on Graphics 42(4)（SIGGRAPH 2023） https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/ （2026年11月13日確認）
XGRIDS「Lixel K1」製品ページ https://www.xgrids.com/intl/lixelk1 （2026年11月13日確認）
図1〜7：WANの試作の画面（2026年11月撮影）
ご相談
3DGSの計測とシミュレーター開発
XGRIDS K2での3D計測から、3DGSの共有、建機シミュレーターへの取り込みまで、一つのチームでご相談いただけます。実際の現場のデータを使った試作や共同研究もお受けしています。
