亡くなった娘と、VRの世界で再会した母親。デジタル技術は「死」を超えられるのか？

01VRで死者に再会するとは？写真や動画との違い

VRで死者に「再会」する体験は、亡くなった人の外見や声、話し方をデジタルのデータで作り直し、体験する人の目の前に表示するものです。人の姿を3DCGで作り、表情や動き、受け答えまで持たせたものは、デジタルヒューマンと呼ばれます。VRのヘッドセットでは、その姿が等身大で立ち、体験者が歩いて近づくと、位置に合わせて見え方も変わります。

写真や動画も、亡くなった人を思い出すための記録です。記録のしかたごとに、残る情報と体験者ができることを比べると次のようになります。

写真と動画は、残っている記録を見返す道具です。これに対してVRやAIは、記録をもとに、記録に無い場面や言葉を新しく作ります。そのため、再現した姿や言葉は、どれほど似ていても、残ったデータから作った推測ということになります。

故人のデジタルヒューマンは、何を作り直すかで3つに分けられます。

• 姿：顔や体を3Dスキャンや写真から3DCGで作り、モーションキャプチャー（人の体の動きをカメラやセンサーで記録する技術）で動かします
• 声：生前の録音から声の特徴をAIに学習させて合成するか、声の似た人が演じます
• 会話：生前のメッセージやインタビューをもとに、受け答えを台本で用意するか、AIに生成させます

02『Meeting You』は亡くなった娘をどうVRで再現したのか

では、『Meeting You』の制作チームは、ナヨンさんの姿と声、会話を、それぞれ何から作ったのでしょうか。VRの映像を制作したのは、韓国ソウルのVive Studiosです（HTCのVR機器のブランド「VIVE」とは別の会社）。制作には8か月をかけています（Road to VR）。

• 姿：ナヨンさんに似た子どものモデルを3Dスキャンし、ナヨンさんの写真と動画をもとに仕上げました（The Korea Times）。表情の一部は、動画や写真をもとに演じた動きをモーションキャプチャーで記録しています（Road to VR）
• 声：ナヨンさんと似た声の子役の声から作りました（The Korea Times）
• 会話：家族へのインタビューと動画をもとに受け答えを用意し、音声認識と簡単なAIで、母親の呼びかけに応じるようにしました（Road to VR）

舞台には、家族がよく訪れた公園を、写真測量（フォトグラメトリー。多数の写真から3Dモデルを作る技術）で作り直しています。チャンさんはHTC Vive Proと体の位置を追うトラッカーを着け、ケーブルの無い無線のアダプターで、スタジオの中を歩いて娘に近づきました（Road to VR）。誕生日の場面には、ナヨンさんの好きだったわかめスープと餅も用意されています。父親と3人のきょうだいは、その様子をスタジオのモニターで見守りました（The Korea Times）。

こうして並べると、ナヨンさん本人のデータから直接作った部分は少ないことが分かります。姿は別の子どもの3Dスキャン、声は子役の声、言葉は家族の記憶をもとにした台本です。それでもチャンさんは体験のあと、スタッフに「いい夢を見た」と話しました。プロデューサーのキム・ジョンウ氏は、VRを「人を思い出すうえで、写真や動画より一歩先にあるもの」と表現しています（The Korea Times）。

番組はシリーズになり、2024年2月11日放送のシーズン4では、13歳で亡くなった息子を16歳に成長した姿で再現しました。シリーズで初めて、VRの中でリアルタイムに会話する「VR双方向コミュニケーション技術」を取り入れ、心理カウンセリングの専門家も同席しています（iMBC）。台本で受け答えを用意した2020年から、その場で会話する形へと、再現の範囲が広がったわけです。

03故人をデジタルヒューマンで再現した3つの例

『Meeting You』は、姿・声・会話の3つを1つの体験にまとめた例でした。ほかの例では、3つのうちどれを作り直すかが違います。

AI美空ひばり：過去の録音から新曲の歌声を合成

NHKは2019年9月29日、『NHKスペシャル AIでよみがえる美空ひばり』を放送しました。1989年に亡くなった美空ひばりさんの歌声を、ヤマハの歌声合成技術「VOCALOID:AI」で再現した企画で、本人の歌と話し声の録音をディープラーニング（深層学習）で学習させています。同じ年の紅白歌合戦では、等身大の映像とともに、秋元康さんがプロデュースした新曲「あれから」を披露しました（Business Insider Japan）。

ただし、放送のあとは賛否が分かれ、「故人の意思を無視してよみがえらせた」とする批判も多く寄せられました（週刊女性PRIME）。生前に録音していない曲を歌わせた点で、記録を再生する段階から、本人が残していない作品を新しく作る段階へ踏み込んだ例といえます。

StoryFile：生前に録画した答えで葬儀の質問に応じる

英国のホロコースト記念センターを共同で設立したマリナ・スミスさんは、2022年6月に87歳で亡くなりました。スミスさんはその年の1月、自宅のPCとWebカメラで2日間、1日数時間ずつ自分の人生について話し、録画を残しています。葬儀では、その映像が参列者の質問に答えました。しくみを作ったのは、息子のスティーブン・スミス氏が手がける米国の企業StoryFileです（The Telegraph）。

映像の答えは、本人が生前に話した言葉そのものです。AIの役割は、質問に合う答えの映像を選ぶことにとどまります。用意していない質問には答えられない代わりに、本人が言っていないことを話す心配はありません。

Project December：メッセージの文面からAIが会話を生成

2021年7月、米国のサンフランシスコ・クロニクル紙は、ジョシュア・バーボー氏が、2012年に23歳で亡くなった婚約者のジェシカさんを模したチャットボットと会話した記録を報じました。使われたのは、開発者のジェイソン・ローラー氏が、OpenAIの言語モデル「GPT-3」で作ったサービス「Project December」です。バーボー氏は、ジェシカさんと交わしたメッセージをAIに読み込ませ、話し方をまねさせました（The Register）。

料金は5ドルで1,000クレジット。クレジットを使い切ると、ボットは消える設計でした。姿も声も無い文字だけの再現で、3つの例の中では最も手軽に作れます。一方で、AIが生成した文は、ジェシカさんが一度も書いたことのない文でもあります。

04デジタル技術は「死」を超えられるのか？できないことと難しいこと

3つの例を並べると、技術で再現できる範囲が見えてきます。故人の再現で、本人が戻ってくるわけではありません。作られるのは、残ったデータから作った「よく似たもの」です。死者を再現するときにできないことと難しいこと、その次の手をまとめると次のとおりです。

一方で、技術の壁は低くなっています。成均館大学のリュ・ウンソク教授（VR研究者）は2021年の時点で、故人と双方向に会話し、細かな表情や癖、話し方まで再現することは、技術的にもう難しくないと話しています（マネートゥデイ）。そうであれば、問われるのは技術の限界よりも、だれが、何のために、いつまで再現を使うかのほうでしょう。

05故人のデジタルヒューマンを作る前に決めておくこと

再現そのものは技術で実現できても、だれが何のために、いつまで使うかは、技術では決まりません。ケンブリッジ大学の研究者は2024年、故人を模したAI（デッドボット）について、データを提供する本人から生前に同意を取ること、AIであることを利用者に示すこと、年齢制限、利用をやめる手順や「引退」の儀式を、設計の段階で組み込むよう提言しています（University of Cambridge）。

この提言を、姿・声・会話の3つに当てはめると、決めておくことは次のようになります。

いちばん確実なのは、本人が元気なうちに、話す姿と声を記録しておくことです。StoryFileの方式のように録画で残すほか、人の姿を多数のカメラで立体的に撮影するボリュメトリックビデオもあります（「ボリュメトリックビデオとは？」で解説しています）。そのうえで、記録をどう使ってほしいか、いつまで使ってよいかを、本人の言葉で残してもらうことをおすすめします。

06まとめ：故人の再現は「姿・声・会話」の3つで考える

『Meeting You』の母親が再会したのは、似た子どもの3Dスキャンと子役の声、家族の記憶から作られたナヨンさんでした。デジタル技術は死を超えられません。それでも、残った記録をもとに、家族が会いたい姿を作ることはできます。故人を再現するときは、何を作り直すのかを3つに分けて考えます。

姿：使う写真と公開する範囲を決める

3DCGの姿は、写真や動画、3Dスキャンから作ります。家族の中だけで見るのか、放送や動画サイトにも出すのかを、先に決めておきましょう。

声：本人の録音を使うか演じてもらうかを選ぶ

本人の録音を学習させれば、生前に話していない言葉も、本人の声で合成できます。そこまで再現してよいかを、家族で話し合っておきます。

会話：本人の言葉だけで答えるかを決める

本人の言葉を守りたいなら、生前の録画から答えを選ぶ方式が向いています。AIに文を生成させるなら、AIの言葉であることを利用する人に示しておくと安心です。

大切な人の姿や声を残したいと考えたら、本人が元気なうちに録画と録音をしておき、そのデータをどう使ってほしいかも、あわせて聞いておくことをおすすめします。

ご相談

XR・VR開発
VR・AR・MRのアプリを、企画から開発まで手がけています。3DCGの人物やVRの体験づくりについて、検討段階からご相談いただけます。

XR・VR開発について相談する