奈良先端科学技術大学院大学（NAIST），東海大学，米アリゾナ州立大学は，プロジェクタで壁など平面に投影した映像について，スマートフォンのように画面に指で触れて操作できるタッチセンシング機能をつける技術を開発した（ニュースリリース）。

床や壁にプロジェクタで映像を投影すると，さまざまな平面を仮想的にディスプレイにすることができるが，スマートフォンのようなタッチセンシングの仕組みが備わっていないことから，映像投影した面に直接触れて操作をするためには，追加のタッチセンシング機能を実装する必要がある。

しかし，従来の画像処理でタッチセンシングを実現すると，プロジェクタの映像が手の映像にかぶさって検出を妨げてしまうことや，どの位置にタッチしているかどうかを 1台のカメラ映像から判定するのが難しいといった課題がありまった。

こうしたことから，研究ではプロジェクタの映像に影響されず，一般的な1台のカメラを使った映像処理でのタッチセンシングの実現を目指した。

カメラで撮影すると，通常はファインダーの範囲に収まる状景が余すことなく写し取られる。そこで研究では，プロジェクタと，操作する指を撮影するカメラを組み合わせて一体化し，コンピュータ処理することで，指で触れたかどうかの判定に必要な特定の奥行き・傾き・厚みの部分だけに限定することができた。

使用したカメラはローリングシャッター方式で，撮影対象を1ラインずつ上から順に撮影することができる。このカメラにより，投影される平面に対し，少し上部にある部分だけを平面と平行の方向に数㎝の厚みで撮影すれば，指がタッチした場合は指の一部が撮影され，そうでない場合は指が撮影されない仕組みを作ることができるという。

これによって，指が面にタッチしているかどうかを，1台のカメラから判定することができる。今回の研究では，カメラがプロジェクタ映像そのものを撮影しないため，例えばプロジェクタ映像にリアルな手が含まれていた場合にも，コンピュータは本物の手と映像の手を区別することができる。

また，投影映像はときに重要な情報を含むことがあるため，プロジェクタ映像を撮影せずにタッチセンシングを行なうことはプライバシーの観点でも有効となるという。

研究所グループはこの研究について，タッチセンシングする領域をコントロールすることができるため，平面に直接タッチせずに空中でタッチ操作を行なえるとし，感染症対策にも有効なタッチレス操作への応用も可能だとしている。