慶大ら,スマホの持ち方をフロントカメラで推定

慶應義塾大学,ヤフー,東京工科大学は,スマートフォンのフロントカメラで撮影された顔写真を使用して,機械学習でスマートフォンがどの様に把持されているのかを推定する手法を開発した(ニュースリリース)。

多くのスマートフォンアプリケーションでは右手親指での操作を前提に画面表示が設計されており,スマートフォンの大画面化が進む中で,他の把持姿勢では操作しづらい場合がある。

スマートフォンを持っている手や操作している指などの把持姿勢を推定することで,把持姿勢に合わせた画面表示の自動切り替えや,アプリや機能を自動で立ち上げることが可能になる。既存の把持姿勢を推定した研究では,センサを外付けする必要があったり,推定モデルがスマートフォンの機種に依存したりする課題があった。

研究ではスマートフォンを異なる把持姿勢で操作した際に瞳に映る角膜反射像の違いに着目し,把持姿勢を推定する新手法を開発した。スマートフォンの画面は光を発するため,顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映るが,画面上に指を置いている部分は影となり,その部分のみ角膜反射像が欠ける。

把持姿勢に応じて角膜反射像の欠け方が異なるため,スマートフォンのフロントカメラで顔写真を撮影し,顔写真から瞳に映る角膜反射像を切り取り,機械学習を使って角膜反射像を分類することで把持姿勢を推定することが可能であると研究グループは考えた。

この手法ではほとんどのスマートフォンに内蔵されているフロントカメラのみを使用するため,スマートフォン単体での把持姿勢の識別ができる上,推定モデルがスマートフォンの機種に依存しないというメリットがある。

今回は実験協力者13名を対象に,6種類の把持姿勢でそれぞれスマートフォンを持った状態でフロントカメラを使って顔写真を撮影し,その画像を使用して把持姿勢の識別が可能か検証した。深層学習を用いて推定モデルを作成した結果,85%の精度で把持姿勢を識別することができたという。

今回の提案手法はフロントカメラのみを使用するため,スマートフォンアプリケーションに容易に組み込むことができる。アプリケーション内で把持姿勢を推定することで,把持姿勢に合わせた画面表示の最適化や,操作ボタンやキーボードの位置の自動切り替えが可能になり,アプリケーションの操作性を向上させることが可能になる。

研究グループはさらに,スマートフォンを長時間同じ把持姿勢で操作している際にアラートを表示することで,それに起因する疾患の予防に応用できる可能性もあるとしている。

その他関連ニュース

  • 早大ら,実験を電子ノートで記録し解析するAI開発 2022年08月24日
  • 東工大,機械学習で高分子コーティング膜効率設計 2022年08月22日
  • 日本病理学会ら,胃生検の病理診断支援AIを開発 2022年08月18日
  • フォトロン,4K対応ハイスピードカメラを発売 2022年08月04日
  • カシオ,皮膚観察用カメラを欧州で販売開始 2022年06月21日
  • 東北大,眼科検査画像に対するAIモデルを開発 2022年06月16日
  • エビデント,デジタルイメージングシステムを発売 2022年06月14日
  • 森林総研ら,LiDARで木の直径を測るアプリ開発 2022年06月09日