千葉大学,金沢大学附属病院,DIC,画像技術研究所,センシング,アウトソーシングテクノロジーは共同で,カラーチャートを活用した顔動画の色補正に関する研究を行なうとともに,同時にスマートフォンで心拍数などのバイタル情報を非接触で取得できる高品質なシステムを実現した(ニュースリリース)。
自宅から診療を受けられる遠隔診療は,COVID-19患者の増加により,その必要性がますます加速している。遠隔診療では,これまでの血液・生化学検査などの検査結果を重視する診察から,画面を通して得られる顔や舌の色などの情報を活用した診察へのパラダイムシフトが求められている。
しかし,スマートフォンなどのビデオ通話では,デバイスの特性や患者の居場所の照明によって色の違いが起きてしまう。このことは,遠隔で視覚情報をもとに診察を行うにあたって大きな障壁だった。
研究グループは,遠隔診療での色再現用カラーチャートを作成した。これを患者と医師の双方に予め配布し,患者側が画面上に表示させたカラーチャートと,医師側の手元にあるカラーチャートの色を合わせるように画像の色を補正することで,より正確な色再現が実現する。これにより,端末や周辺の光環境の違いに影響されにくく安定的な条件で診察を行なうことができるという。
さらに研究では,これまでの機能的画像処理に関する研究成果を活用し,色再現を実現した患者の顔の動画から心拍数,呼吸数,ヘモグロビン量などのバイタル情報を取得することにも成功した。
これらの成果の融合により,スマートフォン上で高品質な遠隔診療への応用が期待できる高度な画像処理システムを実現した。遠隔診療を高度化するための技術が進歩することで,今後,未知の感染症が発生した際にも,対面診療が困難な患者に対して,遠隔であってもより対面に近い診療を提供できるようになるとする。
また,感染症対策のみならず,定期的なフォローが肝要な患者(悪性腫瘍や自己免疫疾患など)に対する高品質な遠隔診療へも応用できると考えられるという。
研究グループでは,産業用カメラでは実現できている顔動画からの酸素飽和度や血圧の推定手法を,スマートフォン上で実現することを目指している。将来的には,スマートフォンで顔以外の部位の動画を撮影することで,肩こりの定量化にも応用できることなどを期待できるとしている。