日常に溶け込むダイナミックプロジェクションマッピング─照明としてのプロジェクターの可能性を探る

─これがダイナミックプロジェクションマッピングにつながっていくのですね

そうです。今,プロジェクションマッピングはイベント,ゲーム,ファッション,デジタルサイネージなど様々な場面で使われていますが,これらは投映する対象が静止しています。そこでこの対象を動いているものにする構想として立ち上げたのが,ダイナミックプロジェクションマッピングです。

ここで問題となったのが,投映する映像と動いている物体を完全に同期させることです。物体が動いているからには,投映するまでの間に必ずタイムラグが発生します。では完ぺきなダイナミックプロジェクションマッピングは不可能かというと,物理的には真でも,知覚的にはそうではないことがわかってきています。

マイクロソフトは,タッチパネルに触れてから,それぞれ100ms,10ms,1ms後に指の下に四角形を表示し,どこから遅延がないと感じるかを調べました。その結果は,6ms以下であれば人が感じるタイムラグはゼロ秒,つまりタイムラグが無いのと同じ効果が得られるというものでした。人間の視覚は遅いため,タイムラグがあっても,無いと感じ取れる可能性があるということです。

つまり物理的にゼロ秒じゃなくても遅延がゼロ秒だと感じ取れるには,6msの間に画像を撮って,画像の処理結果を取得して,映像を作って,投映して…という処理をそれぞれ1ms前後で行なう必要があります。検査業界の要求もあってコンピュータビジョンは速くなってきましたが,残念ながらプロジェクターは基本的には大画面で映画などを見るように作られているので遅いままです。

このギャップを埋めて遅延を無くしてアプリケーションにつなげていけば,断絶していた現実と虚構が一体となった新しい何か,単なるアートやエンターテインメントじゃなくて,社会に普及するような技術になると思っています。

手に持った板(左)とTシャツへのプロジェクション(右)開発中のカラープロジェクターを使用表情に追従するトラッキング機能による表示(提供:渡辺氏)
手に持った板(左)とTシャツへのプロジェクション(右)開発中のカラープロジェクターを使用表情に追従するトラッキング機能による表示(提供:渡辺氏)

まずはプロジェクターの高速化ですが,2015年に東京大学石川渡辺研究室(現石川妹尾研究室)と東京エレクトロンデバイスは共同で,1秒間に1000回投映できるモノクロプロジェクターを開発し,2016年に製品化しています。この速度は人間では知覚できないので,カメラとつなげてアダプティブに動かす映像デバイスとしてみました(写真左参考リンク②)。手に持った板の動きにピッタリ合わせて映像を投映するとモーションブラーが無く実世界とまったく同じに見えるので,タブレットを振り回しているだけと思う人がいるくらいです(笑)。

http://www.vision.ict.e.titech.ac.jp/projects/dynaflash/index-j.html

次はTシャツに投映してみました。Tシャツに仕込んだマーカーをリアルタイムに追いかけていて伸縮にも追従します(写真右参考リンク③)。この速度でトラッキング処理ができるビジョン技術はなかなかありません。

http://www.vision.ict.e.titech.ac.jp/projects/DPM/index-j.html

表情に追従するトラッキング機能による表示(提供:渡辺氏)
表情に追従するトラッキング機能による表示(提供:渡辺氏)

さらに顔に投映すると,モノクロでもカラー映像のように見える効果もありますし,顔が変わるような印象を与えることができます。しかし顔に投映は表情が変わるとトラッキングできなくなる問題が出てきます。マーカーを付ければいいのですが,それでは雰囲気が出ません。そこで表情を変えてもトラッキングできる技術も開発しました(写真参考リンク④)。これで話をしている人の顔にグラフィックスを投映する照明のように使った例もあります。今はアートやエンターテインメントとしてやっていますが,例えば化粧品業界にも興味を持っていただいています。

http://www.vision.ict.e.titech.ac.jp/projects/faceDPM/index-j.html

残像効果を利用したアニメーションを生成するプロジェクターと円盤
残像効果を利用したアニメーションを生成するプロジェクターと円盤

今度はプロジェクターをライトとして使った事例です(写真)。残像効果を利用したもので,様々な色や種類の素材を貼り付けた凹凸のある円盤が回っている最中に特定の場所だけにライトを当てると,人間はそこしか知覚しません。例えば青い毛糸のところだけに当て続ければ,全面に青い毛糸があるように見えます。そうすると,毛糸のアニメーションを見せることができます。目の前に見える立体物が実は知覚的にそう見えるだけということができるわけです(写真参考リンク⑤)。この研究は,「プロジェクターは照明になっていく」という話につながっていくものです。

生成された毛糸アニメーションの1コマ(提供:渡辺氏)
生成された毛糸アニメーションの1コマ(提供:渡辺氏)

http://www.vision.ict.e.titech.ac.jp/projects/phyxel/index-j.html

同じカテゴリの連載記事

  • 光プラスαの技術で水中ビジネスを加速させる! ㈱トリマティス 代表取締役 島田雄史 氏 2024年03月12日
  • 学術と産業の架け橋となり,更なるイノベーション創出を (一社)レーザー学会 会長 久間和生 氏 2024年01月15日
  • 芽から幹への成長が期待される面発光レーザーの産業化 東京工業大学 栄誉教授/元学長 伊賀 健一 氏 2023年12月07日
  • 日本が実用化の先導役となるか!?注目のペロブスカイト太陽電池開発動向 桐蔭横浜大学 宮坂 力 氏 2023年10月06日
  • パワー半導体とイメージンセンサーの両輪で挑んだ日本市場の一年とは オンセミ 日本法人代表取締役 林 孝浩 氏 2023年09月29日
  • 眼に装着する究極のディスプレー─ホログラムが可能にする未来とは 東京農工大学 高木 康博 氏 2023年09月27日
  • 光エレクトロニクスの未来 ─若手研究者への技術伝承がカギ 名古屋大学 天野 浩 氏 2023年08月21日
  • 事業のフォーカスの中で,将来を見据えて盛り立てるのが研究の役割 古河電気工業㈱ 執行役員 研究開発本部長 藤崎 晃 氏 2023年08月18日