東京理科大学の研究グループは,次世代の撮像技術として期待される単一光子検出型撮像方式の時間解像度の高さを生かし,光子の少ない暗い環境でも被写体ブレを抑制する新たな画像再構成法を開発した(ニュースリリース)。
単一光子検出型イメージセンサは入射光子の情報を,光子が検出されたか否かに基づいて各ピクセルで二値化し,ビットプレーン画像として記録する。大量のビットプレーン画像を取得し,それらを累積させるという単純な手法でマルチビット画像に変換することができる。また,用途に応じて再構成法を選べる利点もある。
時間軸に沿ったビットプレーン画像が累積することでSN比が改善されるが,動く被写体を撮影する際に被写体ブレが問題となる。そこで研究グループは,光子の少ない環境下でも被写体の細部まで鮮明に映すことができるマルチビット画像を再構成する手法を開発することを目的に研究を行なった。
被写体ブレの抑制には,動きを正確に推定することが必要となる。そこで研究グループは,ビットプレーン画像に基づき,直接かつ正確に動きを推定する手法を提案した。従来は,少数のビットプレーン画像を変換して得られたマルチビット画像に基づいて,間接的に被写体の動きを推定していたが,光量が減少し,被写体の動きが増加することから,画質が劣化して正確な動きの推定は難しいという問題があった。
それに対し,提案手法では多数のビットプレーン画像による入射光子の数の時間的変動に基づいて,高精度な動き情報を取得することができまる。ポイントは,被写体の動きに合わせて被写体ブレを抑制するという点にある。
具体的には,似た動きによってグループ化される領域を動きボケ除去処理の単位として扱うことで,部分的に動きボケ除去された画像を得ることができる。この手法では動きに基づいて補正をかけるため,被写体の動きが途中で変わるケースや複数の動く被写体が重なり合っているケースなどにも対応でき,被写体の領域を指定する必要もない。
この手法による推定の結果,1フレームあたりの平均入射光子数が0.1という暗い環境でも,位置合わせのズレの誤差は1画素未満と,マルチビット画像に基づいて動きを推定する従来の手法に比べ,正確であることが示されたという。また,動きボケ除去に加えてノイズ除去処理を行なうことで,被写体ブレを抑えたままピーク信号対雑音比がさらに1.2dB改善したとする。
研究グループはこの手法が,宇宙空間などでの高画質映像や,現在のハイスピードカメラを超える超スーパースロー映像を撮るための技術につながるとしている。