仮想空間がズレているとAIは育たない？ フィジカルAIを学習させるシミュレーション環境とは

01フィジカルAIとは？シミュレーションで学習させる理由

ロボットや自動運転車、建機のように、周りの状況をセンサーで認識して判断し、現実の機械を動かすAIは、フィジカルAIと呼ばれます。文章や画像を扱う生成AIとの大きな違いは、AIの判断が、現実の機械の動きになって返ってくることです。

文章を書くAIは、インターネット上の大量の文章から学習できます。しかし、建機のアームをどう動かすと土がどう崩れるかといった「動いた結果」のデータは、機械を実際に動かして集めるしかありません。現場で集める場合と仮想空間で集める場合を比べると、次のようになります。

とくに、試行錯誤をくり返してうまくいった行動を覚える強化学習では、失敗も含めて膨大な回数を試すため、実機だけで行うのは現実的ではありません。仮想空間でつくる学習用のデータは合成データと呼ばれ、画像に写っている物の正解も自動で付けられます。フィジカルAIの開発基盤を提供するNVIDIAも、用語集で、物理にもとづくシミュレーションと合成データを使い、まれな場面や安全に関わる場面も含めて学習・検証してから、ロボットや車両に載せると説明しています。

建設の分野でも、機械の自動化は国の方針になっています。国土交通省が2024年4月に策定した「i-Construction 2.0」は、2040年度までに建設現場の省人化を少なくとも3割（生産性を1.5倍）にすることをめざし、「施工のオートメーション化」を3本の柱の一つにしています。

02人が使うシミュレーターとAIを学習させるシミュレーターの違い

仮想空間に現場を再現するという点では、AIの学習環境も、これまでの訓練用のシミュレーターと同じです。ところが、使うのが人なのかAIなのかで、作るときに大事にすることが変わります。

人の訓練では、遠くの木の葉が多少粗くても問題になりません。人は見た目の粗さを経験で補い、レバーを倒したときの機械の反応に集中できるからです。これに対してAIは、与えられたセンサーのデータをそのまま手がかりにして覚えます。言いかえると、人のためのシミュレーターは「人がどう感じるか」を、AIのためのシミュレーターは「センサーにどう映り、物がどう動くか」を現実に合わせることが中心になります。

03仮想と現実のズレ「Sim2Realギャップ」とは

シミュレーションで学習させたAIを現実で動かすと、仮想空間の中より成績が下がることがあります。この仮想（Simulation）と現実（Real）の差は、Sim2Realギャップ（シム・トゥ・リアル・ギャップ）と呼ばれます。教習所のコースでは上手に走れても、初めて公道に出ると戸惑うのと似ています。

ズレが生まれるのは、仮想空間が現実のすべてを再現しているわけではないからです。そのうえAIは、いつも同じ照明、ノイズのないセンサーといった仮想空間にしか無いくせまで手がかりにして覚えてしまうことがあります。

では、すべてを現実そっくりに作ればよいのかというと、そうとも限りません。2017年に発表されたTobinらの研究では、現実にはありえないランダムな模様を付けたシミュレーションの画像だけで、物の位置を見つけるAIを学習させました。それでもこのAIは、現実のカメラ画像で1.5センチの精度で物の位置を検出できたと報告されています。

この方法はドメインランダム化と呼ばれ、見た目が毎回変わる中で学ばせることで、AIが見た目に頼らずに判断するようになります。ただし、この研究は物の位置を見つける実験で、機械を動かす作業すべてに同じ結果が出るとは限りません。それでも、すべてを本物そっくりにするより、AIが判断に使う部分を現実と合わせることが大事だという考え方は、環境をつくるときの出発点になります。

04シミュレーション環境で精度をかけるべき3つの要素

見た目はばらつかせても学習できる一方で、ごまかしがきかない部分もあります。物の形と位置、物理の動き、センサーの出力の3つです。

形と空間は現実の計測データから作る

仮想空間の地形や建物、設備の形が現実と違っていれば、AIが覚えた経路や作業の手順は現場で合いません。国土交通省のPLATEAUの実証「3D都市モデルとBIMを活用したモビリティ自律運航システム」では、3D都市モデルを置いた仮想空間で仮想のLiDARを走らせて作った点群データを、現実の車両が自分の位置を推定するのに使いました。その報告では、植え込みやフェンスのように3D都市モデルで再現されていない設備があると、仮想空間と現実がずれて自律走行が難しいという課題が残ったとされています。

細かい設備まで現実に合わせるには、現場をレーザースキャナーや写真で計測し、その3Dデータをもとに仮想空間をつくります。計測した点の集まり（点群）からは寸法を、写真から作る3DGS（3Dガウシアンスプラッティング）からは現場の見た目を取り込めます。

点群と3DGSの違いは、3DGSとは？点群との違いと建設分野での活用方法で詳しく解説しています。

物理と動きは実機のデータで合わせる

アームの重さ、油圧の反応の遅れ、土の崩れ方、タイヤと地面の摩擦などが現実と違うと、力の入れ方を覚えるAIは現場で動きがずれます。物理シミュレーションの設定値は、カタログの値だけで決めず、実機を動かして記録したデータと見比べて合わせ込みます。

センサーは現実のくせまで再現する

現場でAIが受け取るのは、ぶれやノイズを含んだセンサーのデータです。カメラのレンズのゆがみや明るさの変化、LiDARのノイズ、ガラスや水たまりでレーザーが返ってこない現象などを、仮想のセンサーにも入れておきます。センサーの取り付け位置と向き、写る範囲（画角）を実機と同じにしておくことも欠かせません。

05Sim2Realギャップを小さくする進め方

3つの要素を正確にしても、ズレはゼロにはなりません。現実には、シミュレーションで想定していなかった出来事が必ず起きるからです。そこで、一度で完成させようとせず、現実で確かめた結果を仮想空間に戻すことをくり返します。国土交通省が2026年9月にまとめた「建設分野におけるフィジカルAI戦略（中間とりまとめ）」も、シミュレーションと実機の差が生じることを前提に、その差を小さくしながら、仮想空間と実際の現場の間で改善をくり返すサイクルを作ることが重要だとしています。

なかでも大事なのが2の段階です。AIを学習させる前に、同じ操作をしたときの仮想と実機の動きを比べておくと、あとでAIの成績が悪かったとき、原因がAIにあるのか環境にあるのかを切り分けやすくなります。

雨の日の路面や細かい土の粒のように、どうしても正確に作れない部分も残ります。そうした部分は条件をばらつかせて学習させ、AIがその違いに頼らないようにしておきます。

06仮想空間とシミュレーターを作ってきたWANのAI学習環境づくり

WANは2010年の創業から、3DCGやXRで仮想空間をつくり、建機などのシミュレーターを開発してきました。通信、建設機械、鉄道などの大手企業のシミュレーション環境も手がけています。

自社で開発している建機シミュレーター「メタトレ」では、3DCGと物理シミュレーションで建設現場を再現しています（図1）。こうした人のためのシミュレーターづくりで積み重ねてきた、現場の再現と物理の調整を、AIを学習させる環境づくりに生かしています。

研究では、大学と共同で「メタトレ＋」の研究開発を進めています。令和8年度の「成長型中小企業等研究開発支援事業（Go-Tech事業）」に採択されたもので、AIを活用して熟練者の技能を数値にし、次の世代と機械へつなぐことに取り組んでいます。

• 受託開発：現場や設備の計測から、仮想空間、機械とセンサーの再現まで、AIの学習に使えるシミュレーション環境を開発します
• 自社開発：メタトレの開発で、建機の動きの再現と物理シミュレーションの技術を積み重ねています
• 共同研究：大学や企業と組んで、仮想空間で学んだ判断を現実の機械の動きにつなぐ研究を進めています

「この現場をAIの学習に使える形で再現できるか」「手もとの3Dデータや図面から始められるか」といった、構想の段階からご相談いただけます。

07まとめ：AI学習用のシミュレーション環境は「学ばせる内容・再現の精度・現実での確かめ」で考える

Waymoがシミュレーションで200億マイル以上を走らせているように、AIの経験の多くは仮想空間で積まれます。仮想空間で学んだAIを現場で動かすために、環境を用意する側がやることを3つにまとめます。

学ばせる内容：AIが使うセンサーと判断を先に決める

どの機械が、どのセンサーのデータで、何を判断するのかを最初に決めます。ここが決まると、仮想空間で細かく作る所と、ばらつかせてよい所が分かれます。

再現の精度：形・物理・センサーを現実のデータで合わせる

現場の3D計測データ、実機の動きの記録、センサーの仕様をそろえてから、仮想空間をつくります。見た目の作り込みより先に、AIが判断に使う部分の数値を現実と合わせましょう。

現実での確かめ：実機で試した結果を仮想空間に戻す

学習の前に仮想と実機の動きを比べ、学習のあとは実機で成績が下がった場面を仮想空間に足します。確かめの段階と費用を、計画の最初から入れておくと、途中で行き詰まりにくくなります。

AIの学習にシミュレーションを使うときは、学ばせる判断、使うセンサー、実機で確かめる場所と時期の3つを、環境づくりを始める前に決めておくことをおすすめします。

ご相談

AI学習用のシミュレーション環境の開発
現場の3D計測から、仮想空間、機械とセンサーの再現まで、AIの学習に使えるシミュレーション環境を開発します。構想の段階や、共同研究のご相談もお受けしています。

シミュレーション環境について相談する