東京科学大，顔へのマッピングの映像ずれを大幅削減

東京科学大学の研究グループは，動く顔に投影するダイナミックフェイシャルプロジェクションマッピングにおける映像ずれを大幅に低減する技術を提案した（ニュースリリース）。

ダイナミックフェイシャルプロジェクションマッピングは，顔への映像投影によってその外観を塗り替える技術。本来は簡単に変わるはずのない顔の外観が一瞬で変化する体験はインパクトが大きく，エンターテイメントの演出や化粧のシミュレーションなどさまざまな分野への応用が始まっている。

このような映像投影による新しい顔が自然に見えるためには，実際の顔と投影される映像がずれないことが重要となる。しかし従来技術は，二つの問題により，この要請を満たすことが困難だった。

この問題とは，①顔の目・鼻・口などのパーツを検出する処理の遅延や，②カメラとプロジェクタの画像座標対応の精度不足によるもの。

研究では①について，顔のパーツを検出する処理において，低速・高精度な処理と高速・低精度な処理を並列に実行し，時間的なずれを補正しながら両者の結果を統合することで，わずか 0.107msの高速処理と高い処理精度を同時に達成する手法を提案した。また，既存の静止画の顔画像データセットを用いて，高フレームレート下の顔の動き情報を学習することで，顔の動画像データセットに依存しない機械学習を実現した。

次に，②の問題である，プロジェクタ・カメラの空間的な座標対応のずれを解決するために，新たな同軸光学系を提案した。従来のシステム構成では，プロジェクタの光学系に合わせてカメラ自体を上向きに配置することで，同軸化を試みていた。

しかしそうした構成では正確な同軸化が難しく，ずれの解消が困難。そこで，カメラのイメージセンサとレンズを上下方向にずらして配置する，レンズシフトの機構を新たに導入することで，プロジェクタとカメラの光線が同じ条件で同軸化される構成を提案した。その結果，座標対応の精度が従来の同軸構成と比べて約10倍向上したという。

開発した技術は，ダイナミックフェイシャルプロジェクションマッピングの体験を大幅に上げるものであり，研究グループは，エンターテイメントや化粧のシミュレーションなどの応用で役立つと期待している。