─これがダイナミックプロジェクションマッピングにつながっていくのですね
そうです。今，プロジェクションマッピングはイベント，ゲーム，ファッション，デジタルサイネージなど様々な場面で使われていますが，これらは投映する対象が静止しています。そこでこの対象を動いているものにする構想として立ち上げたのが，ダイナミックプロジェクションマッピングです。
ここで問題となったのが，投映する映像と動いている物体を完全に同期させることです。物体が動いているからには，投映するまでの間に必ずタイムラグが発生します。では完ぺきなダイナミックプロジェクションマッピングは不可能かというと，物理的には真でも，知覚的にはそうではないことがわかってきています。
マイクロソフトは，タッチパネルに触れてから，それぞれ100ms，10ms，1ms後に指の下に四角形を表示し，どこから遅延がないと感じるかを調べました。その結果は，6ms以下であれば人が感じるタイムラグはゼロ秒，つまりタイムラグが無いのと同じ効果が得られるというものでした。人間の視覚は遅いため，タイムラグがあっても，無いと感じ取れる可能性があるということです。
つまり物理的にゼロ秒じゃなくても遅延がゼロ秒だと感じ取れるには，6msの間に画像を撮って，画像の処理結果を取得して，映像を作って，投映して…という処理をそれぞれ1ms前後で行なう必要があります。検査業界の要求もあってコンピュータビジョンは速くなってきましたが，残念ながらプロジェクターは基本的には大画面で映画などを見るように作られているので遅いままです。
このギャップを埋めて遅延を無くしてアプリケーションにつなげていけば，断絶していた現実と虚構が一体となった新しい何か，単なるアートやエンターテインメントじゃなくて，社会に普及するような技術になると思っています。
まずはプロジェクターの高速化ですが，2015年に東京大学石川渡辺研究室（現石川妹尾研究室）と東京エレクトロンデバイスは共同で，1秒間に1000回投映できるモノクロプロジェクターを開発し，2016年に製品化しています。この速度は人間では知覚できないので，カメラとつなげてアダプティブに動かす映像デバイスとしてみました（写真左，参考リンク②）。手に持った板の動きにピッタリ合わせて映像を投映するとモーションブラーが無く実世界とまったく同じに見えるので，タブレットを振り回しているだけと思う人がいるくらいです（笑）。
②http://www.vision.ict.e.titech.ac.jp/projects/dynaflash/index-j.html
次はTシャツに投映してみました。Tシャツに仕込んだマーカーをリアルタイムに追いかけていて伸縮にも追従します（写真右，参考リンク③）。この速度でトラッキング処理ができるビジョン技術はなかなかありません。
③http://www.vision.ict.e.titech.ac.jp/projects/DPM/index-j.html
さらに顔に投映すると，モノクロでもカラー映像のように見える効果もありますし，顔が変わるような印象を与えることができます。しかし顔に投映は表情が変わるとトラッキングできなくなる問題が出てきます。マーカーを付ければいいのですが，それでは雰囲気が出ません。そこで表情を変えてもトラッキングできる技術も開発しました（写真，参考リンク④）。これで話をしている人の顔にグラフィックスを投映する照明のように使った例もあります。今はアートやエンターテインメントとしてやっていますが，例えば化粧品業界にも興味を持っていただいています。
④http://www.vision.ict.e.titech.ac.jp/projects/faceDPM/index-j.html
今度はプロジェクターをライトとして使った事例です（写真）。残像効果を利用したもので，様々な色や種類の素材を貼り付けた凹凸のある円盤が回っている最中に特定の場所だけにライトを当てると，人間はそこしか知覚しません。例えば青い毛糸のところだけに当て続ければ，全面に青い毛糸があるように見えます。そうすると，毛糸のアニメーションを見せることができます。目の前に見える立体物が実は知覚的にそう見えるだけということができるわけです（写真，参考リンク⑤）。この研究は，「プロジェクターは照明になっていく」という話につながっていくものです。
⑤http://www.vision.ict.e.titech.ac.jp/projects/phyxel/index-j.html
