慶大ら,スマホの持ち方をフロントカメラで推定

慶應義塾大学,ヤフー,東京工科大学は,スマートフォンのフロントカメラで撮影された顔写真を使用して,機械学習でスマートフォンがどの様に把持されているのかを推定する手法を開発した(ニュースリリース)。

多くのスマートフォンアプリケーションでは右手親指での操作を前提に画面表示が設計されており,スマートフォンの大画面化が進む中で,他の把持姿勢では操作しづらい場合がある。

スマートフォンを持っている手や操作している指などの把持姿勢を推定することで,把持姿勢に合わせた画面表示の自動切り替えや,アプリや機能を自動で立ち上げることが可能になる。既存の把持姿勢を推定した研究では,センサを外付けする必要があったり,推定モデルがスマートフォンの機種に依存したりする課題があった。

研究ではスマートフォンを異なる把持姿勢で操作した際に瞳に映る角膜反射像の違いに着目し,把持姿勢を推定する新手法を開発した。スマートフォンの画面は光を発するため,顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映るが,画面上に指を置いている部分は影となり,その部分のみ角膜反射像が欠ける。

把持姿勢に応じて角膜反射像の欠け方が異なるため,スマートフォンのフロントカメラで顔写真を撮影し,顔写真から瞳に映る角膜反射像を切り取り,機械学習を使って角膜反射像を分類することで把持姿勢を推定することが可能であると研究グループは考えた。

この手法ではほとんどのスマートフォンに内蔵されているフロントカメラのみを使用するため,スマートフォン単体での把持姿勢の識別ができる上,推定モデルがスマートフォンの機種に依存しないというメリットがある。

今回は実験協力者13名を対象に,6種類の把持姿勢でそれぞれスマートフォンを持った状態でフロントカメラを使って顔写真を撮影し,その画像を使用して把持姿勢の識別が可能か検証した。深層学習を用いて推定モデルを作成した結果,85%の精度で把持姿勢を識別することができたという。

今回の提案手法はフロントカメラのみを使用するため,スマートフォンアプリケーションに容易に組み込むことができる。アプリケーション内で把持姿勢を推定することで,把持姿勢に合わせた画面表示の最適化や,操作ボタンやキーボードの位置の自動切り替えが可能になり,アプリケーションの操作性を向上させることが可能になる。

研究グループはさらに,スマートフォンを長時間同じ把持姿勢で操作している際にアラートを表示することで,それに起因する疾患の予防に応用できる可能性もあるとしている。

その他関連ニュース

  • 九大ら,世界のラボを結んで有機レーザー材料を発見
    九大ら,世界のラボを結んで有機レーザー材料を発見 2024年05月17日
  • NTTSportict,スポーツ向けトラッキングカメラ開発 2024年05月17日
  • 東工大ら,機械学習で光デバイスの材料探索支援 2024年04月01日
  • NVIDIA,計算機リソグラフィを生成AIで大幅高速化 2024年03月21日
  • 東京インスツルメンツ,染色体分析システムを発売
    東京インスツルメンツ,染色体分析システムを発売 2024年03月05日
  • 東北大,AI画像診断の医学的な妥当性に疑義 2024年02月28日
  • 立教大,フーリエ変換を使った画像認識手法を開発 2024年02月06日
  • IDS,コンパクトなオートフォーカスカメラを開発 2024年02月05日