慶應義塾大学，ヤフー，東京工科大学は，スマートフォンのフロントカメラで撮影された顔写真を使用して，機械学習でスマートフォンがどの様に把持されているのかを推定する手法を開発した（ニュースリリース）。

多くのスマートフォンアプリケーションでは右手親指での操作を前提に画面表示が設計されており，スマートフォンの大画面化が進む中で，他の把持姿勢では操作しづらい場合がある。

スマートフォンを持っている手や操作している指などの把持姿勢を推定することで，把持姿勢に合わせた画面表示の自動切り替えや，アプリや機能を自動で立ち上げることが可能になる。既存の把持姿勢を推定した研究では，センサを外付けする必要があったり，推定モデルがスマートフォンの機種に依存したりする課題があった。

研究ではスマートフォンを異なる把持姿勢で操作した際に瞳に映る角膜反射像の違いに着目し，把持姿勢を推定する新手法を開発した。スマートフォンの画面は光を発するため，顔の正面の位置にスマートフォンを持つと画面の形をした角膜反射像が映るが，画面上に指を置いている部分は影となり，その部分のみ角膜反射像が欠ける。

把持姿勢に応じて角膜反射像の欠け方が異なるため，スマートフォンのフロントカメラで顔写真を撮影し，顔写真から瞳に映る角膜反射像を切り取り，機械学習を使って角膜反射像を分類することで把持姿勢を推定することが可能であると研究グループは考えた。

この手法ではほとんどのスマートフォンに内蔵されているフロントカメラのみを使用するため，スマートフォン単体での把持姿勢の識別ができる上，推定モデルがスマートフォンの機種に依存しないというメリットがある。

今回は実験協力者13名を対象に，6種類の把持姿勢でそれぞれスマートフォンを持った状態でフロントカメラを使って顔写真を撮影し，その画像を使用して把持姿勢の識別が可能か検証した。深層学習を用いて推定モデルを作成した結果，85%の精度で把持姿勢を識別することができたという。

今回の提案手法はフロントカメラのみを使用するため，スマートフォンアプリケーションに容易に組み込むことができる。アプリケーション内で把持姿勢を推定することで，把持姿勢に合わせた画面表示の最適化や，操作ボタンやキーボードの位置の自動切り替えが可能になり，アプリケーションの操作性を向上させることが可能になる。

研究グループはさらに，スマートフォンを長時間同じ把持姿勢で操作している際にアラートを表示することで，それに起因する疾患の予防に応用できる可能性もあるとしている。