日本電信電話（NTT）は，音を動画像として捉える光学的音場イメージングの大幅な高精度化に成功した。（ニュースリリース）。

音は目で直接見ることができないうえ，反射や回折をともなって空間中を複雑に伝搬するため，音がどのように発生し伝わっていくかを把握することは難しい。同社では，光を用いて音場を見える化する技術「光学的音場イメージング」の研究を進めてきた。

これは，光を用いて音場を可視化する技術。音響光学効果によって音によって生じた光の微弱な変動を，光干渉計などを用いて検出する。特に，カメラを用いて画像として音場を捉えることによって，音の見える化，すなわち音場イメージングを行なうことが可能となる。

一般的に用いられるマイクロホンアレイと比較すると光学的音場イメージングは約100倍の空間分解能を有することで，音の波がどこからどのように伝わっていくのかを，「見る」ことができる。

しかし，光学的音場イメージングでは非常に小さな信号の変化を検出する必要があるため相対的に光学的なノイズの影響が大きく，これまで高感度かつ高精細に音を見える化することは困難だった。特に高感度な測定においては，レーザー光や撮像素子に含まれる光学的なノイズが，音の可視化品質を著しく低下させていた。

今回，光学的音場イメージングおよび独自の深層学習モデルを用いて，音を動画像として捉える光学的音場イメージングの大幅な高精度化に成功した。その結果，従来技術では検出することのできなかった微弱な音の波を，高精細にイメージングできることを示した。

レーザー光を測定したい音場内に伝搬させ，干渉計などの光学技術を用いて音によって生じた光の微弱な変化を高感度に検出することにより音が測定される。このような光の変動をハイスピードカメラ用いて毎秒数千～数十万フレームの速さで撮影することにより，音波を動画像として捉えることができる。

さらに，画像の中から，不要なノイズを除去し，音波のみを見える化する独自の深層学習モデルを新たに考案した。

独自のモデルでは，音の物理的な性質に基づいた演算により人工的に生成した訓練画像を用いて，ニューラルネットワークの学習を実施し，さらに，動画像を周波数毎に独立して処理する独自アルゴリズムにより，従来手法を大幅に上回る高精度なノイズ除去処理を実現した。

その結果，音の物理特性を考慮した独自の深層学習モデルを用いたノイズ除去により高精細に音場をとらえることが可能となった。

この成果は、音を見える化するのみならず，空間に存在する音を余すところなくデジタル化する「音のデジタルツイン」技術への活用が期待されるという。