3. 同期遅延時間と露光時間との関係
まず,本研究で用いるプロジェクタ-カメラシステムにおける同期遅延時間と露光時間との関係を定式化する。カメラが撮影する際の露光時間をteとおき,プロジェクタが最も上の行に光を照射する時刻と,カメラの最初の行が露光をはじめるまでの時間のずれのことを同期遅延時間tdとするとき,tdが正の値の場合にはカメラによる各エピポーラ面の観測はそれぞれ下方のエピポーラ面から照明されていることになり,同様に負の場合は上のエピポーラ面から照明されていることなる。さらに,|td|
4. 距離に応じた間接光のイメージング
このとき,本計測装置を用いて同期遅延と露光時間とを制御することにより取得される画像の例を示す。
図2は拡散面でできた壁の隅の前に多数の鏡面からなるディスコボールが置かれているシーンであり,(a)には人の眼で見るのと同じ通常の画像(以下,通常画像)を表示している。壁面にはプロジェクタの照射光の直接反射光に加え,プロジェクタからディスコボールにあたった光が鏡面反射によって壁面を照らす間接反射光が広がっている。(b)は同期遅延td=0μsの場合の撮影結果で,前述の間接反射光がほとんど見られなくなっている。(c),(d)は同期遅延がtd=1200μs,露光時間がそれぞれtd=450,2000μsとした場合の撮影画像である。
どちらもエピポーラ幾何を満たすタイミングで露光していないため直接反射光は含まれておらず,そのため非常に暗い画像になっていることがわかる。一方,(c)の上部にはディスコボールからの間接反射光が見られるが,(a)と比較してみると一部の近距離の間接光のみが現れていることがわかる。(d)ではそれがより広い範囲に現れていて,露光時間を増加させるに従って短距離だけでなく長距離の間接光も観測されていることがわかる。
さらに,様々な同期遅延時間と露光時間とで計測した画像を図3に示す。同期遅延時間がtd=0μsの画像(中央の縦1列)をみると,露光時間が長くなるにつれて,直接光だけでなくより遠い距離からの間接光が含まれるようになっていることがわかる。さらに,同期遅延時間の絶対値が大きくなるにつれてディスコボールから離れた位置の間接光成分が現れるようになっている。従って,同期遅延時間や露光時間を操作することで,距離に応じた間接光のイメージングが可能となった。
5. 同期遅延プロファイル
次に,距離に応じた間接光をより詳細に観測するため,露光時間を固定して様々な同期遅延時間で計測を行い,各画素の輝度値の遷移を調べる。これを本稿では同期遅延プロファイルと呼び,シーンにおける相互反射や半透明物体における表面下散乱等の情報が含まれる。図4にはシーン(a)の各点における同期遅延プロファイル(b)を示す。緑色で示した点において,同期遅延プロファイル(b)のピークは中央(td=0)付近に1つだけであり,これは観測が書籍の表面からの直接反射が支配的であることを示している。一方,青色で示した点では中央の他に(td=1900μs)付近にもピークが見られ,これはディスコボールからの反射光であると推測できる。
さらに,橙色の点はロウソクが写っており,同期遅延プロファイルの拡がりが大きいことから,間接光が相当に含まれていることを示している。実際,ロウソクの蝋は入射光を内部で散乱する半透明物体であることから表面下散乱の影響を反映しているものと考えられる。なお,赤色で示した点は緑色で示した点と同じく書籍の表面であるが,プロファイルに若干の拡がりがあり,これは相互反射の影響が現れているものと推測できる。このように,同期遅延プロファイルの拡がりや非対称性はシーン解析の助けとなると考えられる。
そこで,同期遅延プロファイルを用いて材質を推定する実験を行った。対象として,表面下散乱を生じる5つの材質からできた液体(無脂肪乳,2%低脂肪乳,全乳,ハンドソープ,練り歯磨き)を用意した(図5(a))。なお,これらの液体は全て白色で,通常のRGBカメラでは判別が困難である。まず,それぞれの被写体のプロファイルを計測する。同期遅延時間は–2000μsから2000μsまでを一様にサンプリングし,さらに各プロファイルはそれぞれの面積が等しくなるように正規化した(図5(b))。
次に,シーンに5つの被写体を並べて各ピクセルの同期遅延プロファイルを計測し,非線形カーネルによるサポートベクターマシンを用いたところ,本実験環境では90%以上の精度を有することが確認された。なお,ピクセル毎に材質を推定した結果を図5(c)に示す。被写体の境界部分では誤りが見られたが,その原因としては,液体を透明なプラスチックの容器に入れて計測していたため,表面下散乱光が容器の外側に到達してしまい,これが同期遅延プロファイルに影響したと考えられる。