NICT，カメラ1台でリアルな3Dアバターを作成

情報通信研究機構（NICT）は，カメラ1台の映像から自分のリアルな3Dアバターを構築し，表情や動作を豊かに再現する技術（Realistic and EXpressive 3D avataR技術：REXR，レクサー）を開発した（ニュースリリース）。

現在，仮想空間（メタバース）や複合現実（MR）空間を共有し，自分の分身となる3Dアバターを用いて遠隔のコミュニケーションを行なう技術の開発が各所で進められている。

しかし，現状の3Dアバターは，あらかじめ用意しておいたCGキャラクタが用いられることが多く，コミュニケーション時に表出される本人の豊かな表情や動作は十分に再現できていない。一方，本人のフォトリアリスティックな3Dモデルを構築するためには，多数のカメラを装備した大規模な設備や特殊なセンサ（奥行き・位置センサ等）を用いる必要があった。

今回研究グループは，自分のデジタルツインとなるリアルな3Dアバターをカメラ1台の映像だけから構築し，本人の表情や動作をどの方向からでも入力映像と同程度に精細に再現するREXR技術の開発に成功した。

この技術は複数のAIモジュールから構成されており，まず，カメラの前で一回転した映像からフルボディのモデルを構築する。次に，カメラの前で本人が動くと，顔の表情と身体の姿勢が推定され，モデルが更新される。そして，刻々と変化する本人の表情や身体動作をこの3Dアバターを用いて様々な方向から再現・表示することができる。

この技術を用いると，本人が表出する細やかな表情や動作を3Dアバターを用いてどの方向からでも入力映像と同程度に精細に再現できるため，心の機微（微妙な感情変化・意図など）をこれらの非言語情報から読み取ることが可能だという。

今回開発したREXR技術を仮想空間における多人数のオンラインの遠隔ミーティングに活用すれば，将来，深い信頼関係の構築やシビアなビジネス交渉もリモートで可能になり，相互理解の深化が図れる遠隔コミュニケーションの実現が期待されるとする。

研究グループは今後，複数の人々が仮想空間を共有して深い相互理解が得られる遠隔コミュニケーションの実現を目指して，3Dアバター構築の精度向上（3次元形状の正確さや動きの滑らかさ等）や処理の高速化（リアルタイム対応）を可能にする技術開発を更に進めるとしている。