日本電信電話(NTT)は,脳の映像補完の働きを活用することで,バラバラに配置された複数のモニタ群の枠を超えて飛び出すように感じられる巨大3D空中像を提示するシステムを考案した(ニュースリリース)。
従来,汎用ディスプレーを複数個並べて,単一の大きな映像を提示する方法(Tiled display)は,主に2D映像で活用されており,3D映像の提示に関しては,モニタのベゼル(縁)が映像を分断することで大きな違和感を引き起こすため,同じ種類のモニタを綺麗に整列する必要があった。そのため,既存の手法では準備に手間と労力を要することが課題となっていた。
研究グループは,画像の明るさを適切に設計することで,物体が遮蔽物の手前に半透明に重なるように知覚される「透明視錯覚」,および画像中の描画されていないところを補完する脳のしくみに関する知見を蓄積してきた。今回,これらの知見を活用し,錯覚を用いることで,専用機材や空間に限定されない新しい映像表現を研究した。
バラバラのモニタ群から飛び出す3D空中像を提示するために,まずモニタ群の物理的な位置関係のキャリブレーションを行なった。各液晶モニタに,2次元コードによる一意なIDを埋め込んだチェッカーパタンを提示し,カメラでモニタ群全体を撮影することで,1ショットでモニタ間の位置関係を把握し,即座な配置の校正が可能となる。これにより,全体で一つのまとまりのある映像を提示できる。
そこから透明視錯覚を誘起する映像の明るさ調整を施すことで,モニタのベゼルや乱雑な配置によるモニタ間の隙間で映像に欠損が生じる状況でも,脳がそれを補完でき,結果として飛び出す3D空中像提示の実現が可能となる。
人間の脳には,物理的には存在しない輪郭が脳内で補完することができ,これをモーダル補完と呼ぶ。これを利用して,モニタ間の隙間に生じる像の欠損を脳内で補完して知覚させている。ただし、通常ではモニタの端で映像が隠れてしまうように知覚されるため、欠損が補完される感覚と像が手前にある立体感も生じないことから,透明視錯覚を利用した。
想定する隙間をまたがるような像の提示においては,透明視錯覚が生じる条件は「像の明るさが隙間および背景それぞれの明るさの間にあること」と定式化できる。適切に明るさを操作すると,透明視が成立し,両眼融像時に3D像が枠を飛び越えて手前に知覚されるようになる。
研究グループは,透明視錯覚以外の人間の知覚処理メカニズムの解明や,これに基づく立体視を効果的に演出する映像デザインの構築により,より自然で簡易な分散ディスプレー表現の拡張をめざすとしている。