東海大,角膜表面反射画像を用いた視線計測装置を開発

東海大学情報理工学部コンピュータ応用工学科・講師の竹村憲太郎氏らの研究グループは,角膜表面に反射している画像情報を利用することにより,視線情報の可視化・計測を行なう視線計測装置を開発した。

今回開発したのは,被験者の周囲を撮影する環境カメラと眼球画像を撮影する眼球カメラを備えた眼鏡タイプの計測装置だが,眼球カメラのみ眼鏡タイプで環境カメラは非装着型,あるいは眼球カメラと環境カメラの両方が非装着型など,構造を自由に設定することも可能という。

計測手法は,計測装置を身につけて電源をオンにすると,眼球カメラによって眼球が,環境カメラによって前方から側方にかけ,約105度の被験者の範囲の環境が撮像される。取得された眼球画像を用いて虹彩の範囲を特定し,楕円近似による虹彩領域の抽出を行ない,この虹彩領域から眼球の三次元形状を作成する。

■眼球の中心座標と接平面の接点を設定
引き続き,撮像される眼球画像を取得し,虹彩領域を追跡。生成した眼球モデルの姿勢を動かし,虹彩領域画像(虹彩領域がどのように画像が映り込むかをシミュレートして投影したもの)を作成する。眼球画像とシミュレートした虹彩領域画像(複数)のそれぞれを2値化処理したもので論理積を計算し,論理積の和が最も大きくなる眼球モデルの姿勢を現在の眼球の姿勢とし,またこの眼球の姿勢に対する虹彩領域を,眼球画像上の虹彩領域と決定する。

眼球カメラで撮影される角膜表面反射画像(虹彩領域上の反射画像)は,眼球の虹彩領域上(球面上)に映し出される。視線計測はディスプレイなど平面上に映し出される環境画像と照合して行なうため,角膜表面反射画像を球面状から平面状に画像を展開する必要がある。この平面を接平面とし,その接点を設定する。視線方向に平行なベクトルの反射点を接点とするなど,作成した眼球モデルを用いて注視対象反射点の推定を行なう。なお,接平面の接点は,虹彩の中心に設定することもできる。

■虹彩領域に反射する画像の平面化
逆レイトレーシングによって,設定した接平面上に,球面状から平面状に展開した角膜表面反射画像(接平面展開画像)を作成する。

■画像マッチングによる視線計測
環境カメラと眼球カメラの解像度が異なるため,それぞれの撮像画像間でのマッチングを行なうために環境画像の多重解像度化を実施。そして,接平面展開画像と環境画像を照合することによって,環境画像における注視点を特定する。また,その部位にマーカ(十字線など)を表示することで注視点を特定することができる。前述のこれらを順次実行することで,視線計測が行なわれる。

このように,角膜表面反射画像を利用した視線計測方法とその装置では,角膜表面に反射した角膜表面反射画像と環境画像とのマッチングによって注視点を求めているため,従来のような事前のキャリブレーションが不要で,キャリブレーションに要していた時間,作業の手間を省略することが可能になる。

さらに,環境カメラで撮影された画像を注視対象候補として予めデータベースに登録しておき,角膜表面反射画像と比較することで,注視物体の推定が可能になる。例えば,本やコンピュータなどを判定するに十分な性能が得られることも確認しており,物体認識にも応用することができるという効果もある。

また,眼球画像を展開した接平面展開画像と環境画像とのマッチングによって視線を計測することから,眼球カメラと環境カメラの位置関係にズレが生じても計測に影響を与えないため,両カメラ間のキャリブレーションを修正する必要がないという効果がある。

加えて,常時装着型デバイスであれば,被験者が眼鏡と同様に装着でき,しかも視野を合わせる必要がないので視線計測を短時間に実施できるという効果がある。

ここ数年の間で様々なウェアラブルシステムがリリースされるなど,アプリケーション開発が進められている。これに伴い,今後はICT活用が可能なインターフェース展開,特にアプリケーションを意識した研究を進めるとしている。例えば,美術館や博物館などエンターテイメント施設のガイドシステムや,ドライバーの注視対象計測による運転中の注意喚起ツールなど,利用者の意図・状況に合わせたサービスを提供できるツールへの展開を想定している。

詳しくは東海大学 竹村研究室まで