富士通研究所と中国 富士通研究開発中心有限公司（FRDC）は，カメラで撮影した映像から，複雑な手洗い動作を認識するAI「行動分析技術 Actlyzer 手洗い動作認識」を開発した（ニュースリリース）。
今回，両社独自のAI「行動分析技術 Actlyzer」に手指の動作認識機能を拡張し，手洗い動作を正確に認識することができる「行動分析技術 Actlyzer 手洗い動作認識」を新たに開発した。
手洗いの複雑な手指動作を，両手の形状とこすりの反復動作の組み合わせとして捉え，両手形状認識と動き認識の2つのディープラーニングエンジンにより検出する。
両手形状認識エンジンは，両手を重ねる手指動作の代表的な形状である，両手基本形状を規定し，それらをあらかじめ学習した学習済みモデルを用い，映像の各フレームに対して手形状を判定する。全体の形状に着目することで，手の重なりや泡で指先や関節の特徴点が正しく検出できない問題を解決する。
また，データ変化を追跡できる富士通独自のAI技術「High Durability Learning」を適用し，現場での運用中に変化するカメラ位置や照明に対しても両手基本形状の認識を高い精度で保つようにした。
動き認識エンジンは，連続フレームから周期的に変化する動きを検出する学習済みモデルを利用し，反復パターンとその周期から，反復回数をこすり回数としてカウントする。
さらに，これら2つの認識エンジンによる結果を相互にフィードバックすることで認識精度を向上させる。動き認識エンジンは，両手形状認識エンジンで認識されたステップに合わせて，判定すべき動きの大きさの閾値を設定し，泡の動きやこすりに関係しない手の揺れなどの誤った周期の検出を防止するという。
両手形状認識エンジンは，動き認識エンジンで検出した反復パターンの周期を用い両手形状判定結果をフィルタリングすることで検出精度を向上させる。
人やカメラ位置，石鹸の種類など約2000のバリエーションを持つ手洗い映像データセットを独自に撮影・収集して学習と評価を行ない，正しい手の洗い方6ステップにおいて95%以上の平均判定精度で動作認識でき，手をこすった回数の判定精度が90%以上であることを確認したという。
現場で運用する際には，ステップごとに規定のこすり回数が実施され完了と判定されるまで手洗いを実施し，システム側で実施時刻などの情報と合わせて自動で記録することで，実施漏れをなくすことができるとしている。
WEBセミナー【コロナと戦う光技術】
2020年8月26日（木）
■ 公衆衛生×光技術－銅の抗菌作用，構造材料の微生物腐食機構，青色レーザーによる銅加工
2020年9月3日（木）
■ 紫外線技術と細菌・ウイルス不活化の有効性を考察する
