東工大ら，RGBとNIRを同時撮影できるセンサー開発

東京工業大学とオリンパスは，カラー（RGB）画像と近赤外線（NIR）画像を1つの撮像素子で同時に撮影可能なイメージングシステムのプロトタイプを開発した（ニュースリリース）。

現在広く普及する汎用カラーデジタルカメラやスマートフォンのカメラでは，単板撮像素子とカラーフィルターアレイ（CFA）を用いた撮影技術が広く採用されている。CFAは，R，G，B，それぞれのカラーフィルターをアレイ状に配置したものであり，現在多くのカラーデジタルカメラではベイヤーCFAが採用されている。

CFAは撮像素子上に装着され，撮像素子の各画素ではRGBのうちの1つの画素値のみが記録されるため，CFAを通して得られるデータはモザイクデータとなる。フルカラー画像は，撮像素子により得られるモザイクデータに対し，デモザイキング処理と呼ばれる補間処理や，色補正等の画像処理を行なうことにより生成される。これにより，1つの撮像素子によるカラー画像撮影を実現している。

近年，カラー画像だけでなく，近赤外線画像を利用したコンピュータビジョンおよび画像処理技術応用の発展が著しく，可視光と近赤外光の画像を同時に取得したいという要望が高まっている。例えば，近赤外線カメラでは，近赤外光を照射することで夜間撮影が可能であることから，車載カメラや監視カメラ等において，カラー画像と近赤外線画像を同時利用した環境認識や防犯対策が期待されている。

しかし，現在のカメラは，カラー画像または近赤外線画像のどちらか一方のみを撮影するものが一般的であり，カラー画像と近赤外線画像を同時撮影するには，複数台のカメラが必要となる。一方で，システムの小型化を目指し，単板撮像素子とCFAを利用した撮影技術を拡張することで，カラー画像と近赤外線画像を同時に撮影する方式に関する研究が近年行なわれている。

この方式では，CFA中に近赤外線フィルターを加えることにより，カラー画像と近赤外線画像の同時撮影を実現する。この方式は，従来のカラーデジタルカメラやスマートフォンのカメラと原理的にサイズやコストがほぼ同じなため，実用化へ向けた期待が大きい。ただし，近赤外線フィルターを有するCFAや各種画像処理アルゴリズムの新規設計が必要となり，これら全体を考慮した高画質なイメージングシステムの開発が課題になっていた。

開発したシステムは，新規開発した近赤外線フィルターを有するCFAを備える撮像素子および撮像データをリアルタイムで処理する画像処理システムにより構成される。画像処理システムでは，デモザイキング処理，色補正処理等の各種画像処理をリアルタイムで行ない，撮影したカラー画像と近赤外線画像を、同時にリアルタイムでディスプレイ出力できる。

単板撮像素子を用いたカラー画像と近赤外線画像の同時撮影では，CFAの配置と画像処理アルゴリズムの設計が，高画質な画像を得るための鍵となる。研究開発では，高画質な画像生成の実現のため，新しいCFAの配置およびデモザイキング処理を同時に提案することで，高精度なイメージングシステムを実現した。

開発したシステムは，次世代の画像センシング技術として，リモートセンシング，セキュリティ，ロボティクス，農業，医療等の幅広い分野への発展が期待されるとしている。今後は実用化に向け，システム設計やカメラモジュールの開発を行ない，応用展開を図るとしている。