NTT,空間情報を遠隔地に伝送・再現する技術を確立

日本電信電話(NTT)は,動きのある空間情報を遠隔地にそのまま伝送・再現する技術を確立し,この技術による新たなエンターテイメント体験の創出に成功した(ニュースリリース)。

同社グループでは,実世界データ(空間情報)のデジタル化について,街やモビリティの全体最適を可能にする4Dデジタル基盤や,地域が抱える課題解決に寄与するフォトリアルなメタバースに活用することをめざして,3D点群メディア処理技術の研究開発を推進してきた。

現実世界の空間を丸ごとキャプチャーして3Dモデル化し,空間内の自由な位置や角度から映像生成を可能にするボリュメトリックビデオ技術が知られているが,その撮影には多数のカメラが配置されたグリーンバックの専用スタジオが必要であり,またその対象(被写体)は特定のオブジェクトに限定されている。

一方,これまでのLiDARを用いた技術では,動きのある物体では点群データが極めて疎になるため対象は静的な物体に限定されており,動きのある空間情報をそのまま伝送・再現することは困難だった。

そこで同社では,点群データと同時に別カメラで収録された画像データをもとに,色と奥行きの対応関係を学習することで,疎な点群データを高速に高密度化する機械学習ベースの技術を新たに開発した。

この技術では,点群データの高密度化処理に画像フィルタ処理の考えを導入しているが,当該処理を直接畳み込み層に表現することで,従来技術と比較して機械学習のパラメータ数を約1000分の1にまで小型化したとしている。

この軽量な機械学習モデルにより,処理速度を従来より約6倍高速化した。この結果,市販のLiDARで計測されるデータの空間解像度について,リアルタイム処理で約20倍の高解像度化を実現しているという。

同社は,今後は空間解像度だけでなく,より滑らかな動的3D空間の伝送・再現をめざしフレームレートの向上に取り組む予定だとしている。

また現実世界に含まれる振動等触覚に代表されるその他の五感情報含めてアクセス可能な没入感の高いリアル・バーチャル融合空間を創出し,都市の精緻なシミュレーションや超高臨場なコミュニケーションに適用することで,人と人,人と社会のつながりの質を高め,多様性を受容できる豊かな社会の実現をめざしていくという。

その他関連ニュース

  • 東京科学大,深層学習で蛍光免疫センサーを高性能化 2025年04月04日
  • 早大,AIで光駆動有機結晶の発生力を3.7倍向上 2025年04月04日
  • 広島大ら,光るマウスで筋骨格がつながる仕組み解明 2025年04月03日
  • 神大ら,テラヘルツ波で内耳の非破壊3D観察に成功 2025年03月31日
  • JAISTら,動的コヒーレントX線回折解析法を開発 2025年03月24日
  • 統数研ら,機械学習で結晶構造予測の最高性能達成 2025年03月11日
  • 神大ら,単一カメラで高速動体を3次元イメージング 2025年03月06日
  • 慶大ら,走行中のLiDARシステムを長距離から無効化 2025年03月03日