東京工業大学工学院システム制御系・教授の奥富正敏氏らとオリンパスは共同で，カラー画像と近赤外線画像をリアルタイムで同時に撮影可能にしたイメージングシステムのプロトタイプを開発した。

奥富研究室とオリンパスは，これまで単板リアルタイムマルチバンドイメージングシステムを開発してきた経緯があるが，今回開発したのはRGBカラー画像の品質を維持したまま，近赤外線（NIR）画像も1台のカメラで同時に取得できるイメージングシステムで，単板撮像素子にR・G・BとNIRのカラーフィルタアレイ（CFA）を備えたものだ。

一般的なカメラは，単板撮像素子とCFAを用い，Rフィルターを25％，Gフィルターを50％，Bフィルターを25％の画素密度でアレイ状に配置したベイヤーCFAが採用されている。CFAは撮像素子の上に装着され，撮像素子の各画素ではRGBのうちの一つの画素値のみが記録されるため，CFAを通して得られるデータはモザイクデータとなり，フルカラー画像は，撮像素子により得られるそのモザイクデータに対し，デモザイキング処理（CFAを通して撮像素子に記録されるモザイク状のデータを補間し，フルカラーの画像を生成する処理）を行なうことでフルカラー撮影を可能にしている。

今回開発したシステムでは，撮像素子にNIRを組み入れる必要がある。奥富氏によると，「作製プロセスとしては，一般的なベイヤーCFAと同じ技術的な流れになるが，問題の一つとして空間解像度が低下するため，実際には難しい」と語る。開発コンセプトにRGBカラー画像の品質を維持させるということがあるため，デモザイキング処理など後処理の工夫が重要になるという。

もう一つの問題もある。NIRを組み入れると画質が低下するという点だ。一般的なカメラに搭載されているCMOSセンサーはNIRに感度を持つが，カラー画像を取得するため，IRカットフィルターによって通常700 nm付近以上をカットし，画質低下を抑制させている。奥富氏は「我々の開発ではIRカットフィルターを入れるわけにはいかない」として，カラー画質の品質を保持し，NIRの情報を取得可能にする2つのCFA配置パターンを開発。さらにRGBに対するNIRの影響を抑えるためにデモザイキング処理や色補正といった一連の画像処理をトータルで最適化したという。

NIRを同時取得するCFAパターンについて，現在提案されているRGB-NIRの同時撮影を可能にするシステムでは，ベイヤーCFAの二つあるG画素のうち，一つをNIR画素に置き換えたものとなっており，サンプル密度としてR・G・B・NIRともに1/4の配列となっている。この配列は従来のカラーデジタルカメラやスマートフォンのカメラと原理的にサイズやコストが概ね同じなため，実用化に対する期待が高い。しかし，NIRフィルターを持つCFAや各種画像処理アルゴリズムの新規設計が必要となり，これらを考慮した高画質なイメージングシステムの開発が課題になっているという。

奥富研究室とオリンパスが提案している2つのCFAパターンは，いずれもG画素が1/2であるのが共通するが，パターン1ではRとBが1/5，NIRが1/10，パターン2はRとBが1/8，NIRが1/4というサンプル密度になっている。この2つのパターンは用途によって選択を可能にしているもので，奥富氏によれば，カラー画像の解像度を重視する場合はパターン1，NIRの解像度を重視する場合にはパターン2といった異なる特徴を有しているという。

今回提案する撮像素子を組み込み，システムのプロタイプを開発。現状の仕様は画素数（縦×横）：4096×3072，ビット数：12，フレームレート：30 fps／同：2816×2816，同：12，同60 fps／同：1984×1984，同：10，同：120 fpsとなっている。

奥富氏によると，今回同時撮影の対象をNIRとしているが，これついては必ずしも限定しているわけではないという。「我々としてはRGB+Xイメージングと総称している。このXというのは用途に応じて選択できればと考えている」と述べている。

NIR以外として考えられるのは非接触によるバイタルセンシングを挙げ，例えば，心拍数と血液の酸素飽和度（ヘモグロビンが酸素と結合する量）を計測するということであれば，心拍数はRGBカメラでも測定可能だが，血液の酸素飽和度を同時に測定する場合，酸素と結合していないヘモグロビンと酸素と結合したヘモグロビンとのわずかなスペクトルの違いを見分けないといけないため，そのXの部分に違いの出やすい波長を割り当てるなどというようなことも可能性としてあるとしている。こうしたバイタルセンシングに加え，ICG蛍光観察などといった医療応用，リモートセンシングやセキュリティ，ロボティクス，農業，異物検出などの検査計測分野への応用といった用途も想定されている。今後は，開発したプロトタイプの評価を進め，さらなる性能向上を目指すとともに，応用展開に向けて検討を進めるとしている。◇

（月刊OPTRONICS 2016年9月号掲載）