産総研,深層学習で赤外線画像をカラー化

産業技術総合研究所(産総研)の研究グループは,多層の人工ニューラルネットワークを用いた深層学習による赤外線画像の可視光カラー化技術を開発した(ニュースリリース)。

今回,画像の特徴量を抽出し学習することができるCNNと時系列情報間の関連性を学習することができるRNNという深層学習の手法を基本に,輝度情報と色情報を同時に学習するモデルを構築することで,赤外線静止画や赤外線動画を可視光カラー化する技術を開発した。

まず,被写体一式を赤外線カットフィルターのない通常のカメラで撮影し,可視光下での通常のカラー画像,赤外線照射下での通常の赤外線画像,従来の技術で赤外線画像を可視光カラー化した画像(中心波長780nm,870nm,940nmの画像をそれぞれ赤,青,緑に変換して合成した画像)と比較した。

その結果,色再現性が大幅に改善され,可視光下での通常のカラー画像と区別できない程度まで再現されていることが分かった。なお,ここではCNNを基本とするモデルを用いているが,入力画像を変化させて学習させることにより,過学習の抑制あるいは汎化性の向上が期待される。

そのため,画像とその鏡映,反転,回転画像を入力画像とし,画像とその鏡映,反転,回転画像を教師画像としてそれぞれ学習し,学習済みモデルに赤外線画像を入力して変換している。この際の変換時間は約30msであり,リアルタイムでの変換が可能としている。

また,シリコンイメージセンサーを用いた通常のカメラでは,赤外線領域の850nm程度まで,カラー化フィルターの各分光特性間に差がある。モノクロ画像と比較して情報量が増えるため,その分光情報も利用して学習させた。開発した赤外線カラー暗視カメラのような赤外線領域に特殊な分光特性を持たせたカメラで撮影したより情報量の多い画像を用いると,学習効率をさらに上げることができるという。

一方,カラー画像より情報量が少ないため,その分,学習に時間が掛かるが,赤外線モノクロ画像の可視光カラー化も可能となる。可視光カラー画像を教師画像として学習する深層学習を用いれば,赤外線領域に分光情報のない赤外線モノクロ画像もカラー化できる。

さらに,赤外線動画と教師動画を用いてそれぞれCNNモデルまたはRNNモデルにより学習させ,それぞれの学習済みモデルに赤外線動画を入力してそれぞれの赤外線カラー動画を得た。画像の特徴量から色を推定するCNNモデルでは,類似した形状の物体の識別に混乱が生じる場合もあるが,時系列情報間の関連性を考慮するRNNモデルではそれが改善されていることを示したという。

研究グループは,この技術をさらに改善することで,視認性の高いセキュリティーカメラや夜行性動物の生態記録などへの応用が期待されるとしている。

その他関連ニュース

  • 近畿大,AIで色素性病変のレーザー治療の実施判断 2025年06月12日
  • 東大ら,光導波路多重により光行列演算回路を実現 2025年06月10日
  • 阪大ら,稲妻の衝突が作り出す放射線バーストを発見 2025年05月28日
  • 熊本大,深層学習で細胞顕微鏡観察のジレンマを克服 2025年05月20日
  • NTT,情報と人間にかかわる最新技術について紹介 2025年05月19日
  • 慶大,次世代AIデータセンター向けGI型POFを開発 2025年04月28日
  • TDKら,超高速で光検出する超小型光電融合素子開発 2025年04月16日
  • 京大,分光と機械学習で木材塗装の劣化を非破壊予測 2025年04月16日