理化学研究所(理研)は,感情次元(感情が快不快と活性度の2次元で説明できるとする理論)に対応付けられ,さらに多角度と深度情報を備える表情動画のデータベースを開発した(ニュースリリース)。
感情と対応付けられた表情のデータベースは,これまでいくつか発表されてきた。こうした表情データベースは,1970年代に提唱された,怒りや喜びといった感情カテゴリーを想定する理論に基づいていた。
一方,最近の心理学研究は,感情カテゴリーと表情の関係は個人間や文化間でばらつきが大きく,快不快と活性度という感情次元と表情の関係の方がより普遍性を持ち得ることを指摘している。このため,感情カテゴリーに代わる感情次元と対応付けられた表情のデータベースを開発することは急務の課題だった。
研究グループは,感情次元(快不快と活性度)に対応付けられ,さらに多角度と深度の情報を備えて,表情を3Dモデルとして再構成可能な表情データベースを開発することを目指した。日本人48人に快不快5×活性度5の出来事を記入してもらい,その後それらの出来事を思い出して表情を表出することを求めた。その際,10台の特殊なカメラで表情を撮影し,多角度の画像および深度情報を計測した。
正面の画像情報をAIで解析し,顔面動作符号化法と呼ばれるヒトの表情筋活動を評価する方法で定量化した。その結果,アクションユニット(AU)ごとに快不快および活性度との対応関係が示され,例えばAU4(眉をしかめる)が不快のときに生じ,AU12(口角を広げ上げる)が快のときに生じるなどの対応関係が分かった。
研究グループは,今回の成果は,表情から感情次元をセンシングするAI開発にも貢献するとしている。また,研究グループでもそのようなAI開発に取り組んでおり,このデータベースに基づいて,表情から快不快を連続的にセンシングするAIを近く発表する予定だという。