産業技術総合研究所（産総研）の研究グループは，多層の人工ニューラルネットワークを用いた深層学習による赤外線画像の可視光カラー化技術を開発した（ニュースリリース）。
今回，画像の特徴量を抽出し学習することができるCNNと時系列情報間の関連性を学習することができるRNNという深層学習の手法を基本に，輝度情報と色情報を同時に学習するモデルを構築することで，赤外線静止画や赤外線動画を可視光カラー化する技術を開発した。
まず，被写体一式を赤外線カットフィルターのない通常のカメラで撮影し，可視光下での通常のカラー画像，赤外線照射下での通常の赤外線画像，従来の技術で赤外線画像を可視光カラー化した画像（中心波長780nm，870nm，940nmの画像をそれぞれ赤，青，緑に変換して合成した画像）と比較した。
その結果，色再現性が大幅に改善され，可視光下での通常のカラー画像と区別できない程度まで再現されていることが分かった。なお，ここではCNNを基本とするモデルを用いているが，入力画像を変化させて学習させることにより，過学習の抑制あるいは汎化性の向上が期待される。
そのため，画像とその鏡映，反転，回転画像を入力画像とし，画像とその鏡映，反転，回転画像を教師画像としてそれぞれ学習し，学習済みモデルに赤外線画像を入力して変換している。この際の変換時間は約30msであり，リアルタイムでの変換が可能としている。
また，シリコンイメージセンサーを用いた通常のカメラでは，赤外線領域の850nm程度まで，カラー化フィルターの各分光特性間に差がある。モノクロ画像と比較して情報量が増えるため，その分光情報も利用して学習させた。開発した赤外線カラー暗視カメラのような赤外線領域に特殊な分光特性を持たせたカメラで撮影したより情報量の多い画像を用いると，学習効率をさらに上げることができるという。
一方，カラー画像より情報量が少ないため，その分，学習に時間が掛かるが，赤外線モノクロ画像の可視光カラー化も可能となる。可視光カラー画像を教師画像として学習する深層学習を用いれば，赤外線領域に分光情報のない赤外線モノクロ画像もカラー化できる。
さらに，赤外線動画と教師動画を用いてそれぞれCNNモデルまたはRNNモデルにより学習させ，それぞれの学習済みモデルに赤外線動画を入力してそれぞれの赤外線カラー動画を得た。画像の特徴量から色を推定するCNNモデルでは，類似した形状の物体の識別に混乱が生じる場合もあるが，時系列情報間の関連性を考慮するRNNモデルではそれが改善されていることを示したという。
研究グループは，この技術をさらに改善することで，視認性の高いセキュリティーカメラや夜行性動物の生態記録などへの応用が期待されるとしている。
