理科大,単一光子検出型撮像のブレを抑制

出典:IEEE Xplore https://ieeexplore.ieee.org/ document/9354174

東京理科大学の研究グループは,次世代の撮像技術として期待される単一光子検出型撮像方式の時間解像度の高さを生かし,光子の少ない暗い環境でも被写体ブレを抑制する新たな画像再構成法を開発した(ニュースリリース)。

単一光子検出型イメージセンサは入射光子の情報を,光子が検出されたか否かに基づいて各ピクセルで二値化し,ビットプレーン画像として記録する。大量のビットプレーン画像を取得し,それらを累積させるという単純な手法でマルチビット画像に変換することができる。また,用途に応じて再構成法を選べる利点もある。

時間軸に沿ったビットプレーン画像が累積することでSN比が改善されるが,動く被写体を撮影する際に被写体ブレが問題となる。そこで研究グループは,光子の少ない環境下でも被写体の細部まで鮮明に映すことができるマルチビット画像を再構成する手法を開発することを目的に研究を行なった。

被写体ブレの抑制には,動きを正確に推定することが必要となる。そこで研究グループは,ビットプレーン画像に基づき,直接かつ正確に動きを推定する手法を提案した。従来は,少数のビットプレーン画像を変換して得られたマルチビット画像に基づいて,間接的に被写体の動きを推定していたが,光量が減少し,被写体の動きが増加することから,画質が劣化して正確な動きの推定は難しいという問題があった。

それに対し,提案手法では多数のビットプレーン画像による入射光子の数の時間的変動に基づいて,高精度な動き情報を取得することができまる。ポイントは,被写体の動きに合わせて被写体ブレを抑制するという点にある。

具体的には,似た動きによってグループ化される領域を動きボケ除去処理の単位として扱うことで,部分的に動きボケ除去された画像を得ることができる。この手法では動きに基づいて補正をかけるため,被写体の動きが途中で変わるケースや複数の動く被写体が重なり合っているケースなどにも対応でき,被写体の領域を指定する必要もない。

この手法による推定の結果,1フレームあたりの平均入射光子数が0.1という暗い環境でも,位置合わせのズレの誤差は1画素未満と,マルチビット画像に基づいて動きを推定する従来の手法に比べ,正確であることが示されたという。また,動きボケ除去に加えてノイズ除去処理を行なうことで,被写体ブレを抑えたままピーク信号対雑音比がさらに1.2dB改善したとする。

研究グループはこの手法が,宇宙空間などでの高画質映像や,現在のハイスピードカメラを超える超スーパースロー映像を撮るための技術につながるとしている。

その他関連ニュース

  • 阪大ら,ナノスケールで光でポリマーが動く様子観察 2024年03月07日
  • 理科大ら,光硬化樹脂の窓で脳を広範囲に顕微鏡観察 2024年03月06日
  • ams OSRAM,AR/VR向け小型イメージセンサー発売 2024年02月08日
  • 中大ら,薄くて柔らかいシート型光センサを開発 2024年01月23日
  • 分子研,赤外光で単一のタンパク質を観察 2024年01月10日
  • 東大ら,宇宙観測技術で生体組織分子をイメージング 2023年12月25日
  • 京大ら,複数光子の量子状態の実現と検証に成功 2023年12月25日
  • 理科大ら,脂肪酸分布の特徴をNIR-HSIで可視化 2023年12月22日