産総研,深層学習で赤外線画像をカラー化

産業技術総合研究所(産総研)の研究グループは,多層の人工ニューラルネットワークを用いた深層学習による赤外線画像の可視光カラー化技術を開発した(ニュースリリース)。

今回,画像の特徴量を抽出し学習することができるCNNと時系列情報間の関連性を学習することができるRNNという深層学習の手法を基本に,輝度情報と色情報を同時に学習するモデルを構築することで,赤外線静止画や赤外線動画を可視光カラー化する技術を開発した。

まず,被写体一式を赤外線カットフィルターのない通常のカメラで撮影し,可視光下での通常のカラー画像,赤外線照射下での通常の赤外線画像,従来の技術で赤外線画像を可視光カラー化した画像(中心波長780nm,870nm,940nmの画像をそれぞれ赤,青,緑に変換して合成した画像)と比較した。

その結果,色再現性が大幅に改善され,可視光下での通常のカラー画像と区別できない程度まで再現されていることが分かった。なお,ここではCNNを基本とするモデルを用いているが,入力画像を変化させて学習させることにより,過学習の抑制あるいは汎化性の向上が期待される。

そのため,画像とその鏡映,反転,回転画像を入力画像とし,画像とその鏡映,反転,回転画像を教師画像としてそれぞれ学習し,学習済みモデルに赤外線画像を入力して変換している。この際の変換時間は約30msであり,リアルタイムでの変換が可能としている。

また,シリコンイメージセンサーを用いた通常のカメラでは,赤外線領域の850nm程度まで,カラー化フィルターの各分光特性間に差がある。モノクロ画像と比較して情報量が増えるため,その分光情報も利用して学習させた。開発した赤外線カラー暗視カメラのような赤外線領域に特殊な分光特性を持たせたカメラで撮影したより情報量の多い画像を用いると,学習効率をさらに上げることができるという。

一方,カラー画像より情報量が少ないため,その分,学習に時間が掛かるが,赤外線モノクロ画像の可視光カラー化も可能となる。可視光カラー画像を教師画像として学習する深層学習を用いれば,赤外線領域に分光情報のない赤外線モノクロ画像もカラー化できる。

さらに,赤外線動画と教師動画を用いてそれぞれCNNモデルまたはRNNモデルにより学習させ,それぞれの学習済みモデルに赤外線動画を入力してそれぞれの赤外線カラー動画を得た。画像の特徴量から色を推定するCNNモデルでは,類似した形状の物体の識別に混乱が生じる場合もあるが,時系列情報間の関連性を考慮するRNNモデルではそれが改善されていることを示したという。

研究グループは,この技術をさらに改善することで,視認性の高いセキュリティーカメラや夜行性動物の生態記録などへの応用が期待されるとしている。

その他関連ニュース

  • 【interOpto2024】光陽オリエントジャパン,扱いやすい水性が登場,黒色赤外線吸収水性アクリル塗料 2024年10月30日
  • 【interOpto2024】大興製作所,NIRとSWIRのSPOT光源を開発 2024年10月30日
  • 三菱電機,広画角の80×60画素赤外線センサーを発売 2024年10月24日
  • ビジュアルサーボ,複眼カメラとAIで空間計測を実証 2024年10月18日
  • 東北大ら,屈折率がSiの約1.5倍の近赤外線材料を発見 2024年10月17日
  • TDK,可視光フルカラーレーザー制御デバイスを開発 2024年10月09日
  • NTTら,画像認識AIで鋼材の腐食検査を実証実験 2024年10月03日
  • 茨城大,安価なSWIRセンサー向け材料でPDを開発 2024年10月02日