日本電信電話（NTT）は，超高臨場感通信技術「Kirari!」のメディア処理技術をさらに進展させ，リアルタイム中継先で擬似3D表示により奥行き方向の動きを知覚させる手法を開発した（ニュースリリース）。

超高臨場感通信技術「Kirari!」は，人や空間を，離れた場所に超高臨場かつリアルタイムで再現する通信技術。これまでに，中継元で撮影した映像から選手などの注目する被写体を抽出して伝送，中継先において擬似3Dで表示することで，被写体がまるでそこにいるかのような体験が可能であることを実証してきた。

今回，同社は中継元の被写体の映像と3次元位置情報を処理・伝送すると共に，中継先の擬似3D表示において被写体の奥行き方向の動きを知覚させる手法を開発した。これにより，中継先において被写体が3次元的に動いているような視聴体験を実現したという。

擬似3D表示では，被写体の2次元映像を空間に立体的に浮かび上がったように表示できるが，奥行き方向の表示位置は固定であり，被写体を奥行き方向に動かして表示することができない。そこで絵画の遠近法を参考に，中継先の擬似3D表示において，被写体映像の表示位置と大きさを中継元の被写体の3次元位置情報を用いリアルタイムに調整することで，被写体が任意の3次元の位置に定位するように知覚させる手法を開発した。

中継元の被写体の3次元位置情報をレーザー光を用いた奥行センサーにより取得し，さらに被写体を撮影するカメラの位置と傾きをもとに3次元位置情報をリアルタイムで補正（キャリブレーション）し中継先に伝送，複数の視点で被写体が3次元の位置に定位して知覚できるようになった。

擬似3D表示により被写体が空間に立体的に浮かび上がって見えるように表示するためには，映像中の被写体を背景と分離して抽出する必要がある。従来のリアルタイム被写体抽出技術では，背景の一部に被写体と同じ色の部分があった場合に，被写体を背景であると誤認識し抽出できないことがあった。

そこで機械学習により，色とは異なる情報として被写体の形状を学習させることで，背景の一部に被写体と同じ色がある場合にも抽出できるようにしたという。

同社はさらなる同技術の研究開発として，各要素技術の高度化と経済化を進め，スポーツ・エンターテイメント分野でのライブビューイング，エンタープライズ分野での遠隔店舗窓口などへの展開を視野に，サービス化に向けた取り組みをより一層加速していくとしている。