日本電信電話(NTT)は,動きのある空間情報を遠隔地にそのまま伝送・再現する技術を確立し,この技術による新たなエンターテイメント体験の創出に成功した(ニュースリリース)。
同社グループでは,実世界データ(空間情報)のデジタル化について,街やモビリティの全体最適を可能にする4Dデジタル基盤や,地域が抱える課題解決に寄与するフォトリアルなメタバースに活用することをめざして,3D点群メディア処理技術の研究開発を推進してきた。
現実世界の空間を丸ごとキャプチャーして3Dモデル化し,空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオ技術が知られているが,その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であり,またその対象(被写体)は特定のオブジェクトに限定されている。
一方,これまでのLiDARを用いた技術では,動きのある物体では点群データが極めて疎になるため対象は静的な物体に限定されており,動きのある空間情報をそのまま伝送・再現することは困難だった。
そこで同社では,点群データと同時に別カメラで収録された画像データをもとに,色と奥行きの対応関係を学習することで,疎な点群データを高速に高密度化する機械学習ベースの技術を新たに開発した。
この技術では,点群データの高密度化処理に画像フィルタ処理の考えを導入しているが,当該処理を直接畳み込み層に表現することで,従来技術と比較して機械学習のパラメータ数を約1000分の1にまで小型化したとしている。
この軽量な機械学習モデルにより,処理速度を従来より約6倍高速化した。この結果,市販のLiDARで計測されるデータの空間解像度について,リアルタイム処理で約20倍の高解像度化を実現しているという。
同社は,今後は空間解像度だけでなく,より滑らかな動的3D空間の伝送・再現をめざしフレームレートの向上に取り組む予定だとしている。
また現実世界に含まれる振動等触覚に代表されるその他の五感情報含めてアクセス可能な没入感の高いリアル・バーチャル融合空間を創出し,都市の精緻なシミュレーションや超高臨場なコミュニケーションに適用することで,人と人,人と社会のつながりの質を高め,多様性を受容できる豊かな社会の実現をめざしていくという。