阪大，プロジェクションマッピングによる身体拡張ツール

大阪大学の研究グループは，手のCGモデルを室内にプロジェクションマッピングし，その像をタブレット端末へのタッチ操作によって動かすことで，日常的な場面に応用できる身体拡張技術を開発した（ニュースリリース）。

身体モデルを使用した身体拡張，中でも，手の動きに合わせてキャラクターの手を操作する研究においては，専用のグローブによる手指の曲げの検出や，専用の赤外線センサによる手のジェスチャー認識が主に利用されてきた。

研究グループは，手のモデルを実世界上にプロジェクションマッピングし，自分の手の拡張として使用する身体拡張型インターフェース「ExtendedHand」を開発した。これまでの研究により，カメラによるジェスチャー認識で手の投影像を机の上で操作する場合に，あたかも自分の身体であるという感覚が生じることが確認されている。

さらに今回，タブレットのタッチパネルを用いて手の位置や指の曲がり具合を推定する技術を開発したことで，室内の光源環境に左右されず，一般に普及されている身近な機器での手のモデルの操作を可能とした。この技術により，カメラの検出範囲で手を動かすなどの位置の拘束がなく，専用グローブの装着や赤外線センサの設置を行なわずに，多くの人が持っている端末をそのまま使用して，手のモデルの操作ができる。

システムは室内に設置されたプロジェクターと，入力装置としてのタブレットまたはスマートフォンから構成される。プロジェクターからはタブレット等の画面に描かれる手のCGが投影されている。ユーザーはタブレットの画面を複数の指で同時にタッチし，画面から指を離さないように各指をスライドさせる。このとき，システムでは，画面にタッチしている指先位置から，ユーザの手の移動や各指の曲げ動作を認識する。

そして，これらの結果をリアルタイムに反映させることで，ユーザーの手の動きを増幅して手のCGを動かす。この動作の同期は，手の投影像を自分の体の一部のように感じるために重要な要素となる。このように，5指を操作可能な投影像で，手が届く範囲を拡げることで，遠くの物に対して，指差しや選択・把持等のポーズをとったコミュニケーションが可能になる。

この投影像を使って遠くの棚にある商品や，案内板・ポスターの一部を選択するといったコミュニケーションを直感的に行なうことができる。また，ホワイトボードやスクリーンに対して複数人が自身の端末から手の像を操作し，各々が気になる箇所を示すなど，会議などにおける協調作業にも利用できるという。

これからIoTやスマート家電がますます流行し，センサー付きの室内家電やロボットがこのシステムと通信できる状況になれば，手の像の腕を伸ばして手先で触れることでテレビや照明のスイッチを付ける，手の像で掴んで動かすことで掃除ロボットを運ぶといった，身体拡張を利用しての環境の操作が可能になる。

タブレットでは，指差しや，親指と人指し指でのつまみ，握り，手の移動や回転を認識しているために，それらの動作に合わせて，椅子に座ったまま手を伸ばして室内の様々な物を操作することが可能になると期待される。手の投影像は，ロボットハンドのような実物体と比べてその体積や重さがないため，室内の様々な箇所を直感的に操作する場合に環境に適応させることが容易であるとしている。