芝浦工業大学は，リスキリング（再教育）関連サービスを提供するLiNewと，LiDARを活用することでオフィスワーカーの姿勢を分類し，生産性向上に繋げるシステムを生成した（ニュースリリース）。
今回研究グループは，LiNewの保有しているエンジニア育成ノウハウに，芝浦工業大学のセンシングとAI解析技術を組み合わせることで，システム開発時のパフォーマンスを向上させる手法の創出を目指した。
センサーとしてLiDARを用い，3次元データから作業中の人の状態を自動検知する深層学習AIのシステムを開発した。シナリオとしてノートパソコンを用いた作業を想定し，コンテンツ閲覧中/マウス操作中/キーボードタイピング中/タッチパッド操作中の4状態を深層学習AIに自動検知させ，97%の精度を達成した。
実験では，小型（9.7cm×6.4cm×6.3cm）で安価なLiDARセンサーを2機用いた。LiDARのデータはレーザーが物体で反射した空間座標の集合（点群データ）であり，カメラ画像データと形式が大きく異なる。
点群データに対応した深層学習AIの研究開発はまだ発展途上で，自動運転のための車両検知や歩行者検知が主眼に置かれているため，人のパフォーマンスに着目した本成果は世界的にも極めて先進的だという。歩行者や，バイク，乗用車，トラックは大きさや形状がはっきり異なるのに対し，今回の状態は手の位置や体の傾きといった微細な違いしかないため，従来は分類が困難だった。
研究では，点群データからノイズを除去したり二次特徴を付与したりすることで，高い精度を達成することに成功した。具体的には，ある一人の学生から計700秒取得したデータ（=LiDARのデータとして7000フレーム）で深層学習を行ない，他の一人の学生のデータに適用し，高精度の状態検知に成功した。
また，学修シナリオを想定した20名程度を対象に実施した実験により，2〜12分，最長で30分以上のLiDARデータおよび心拍データを取得した。研究グループは今後，これらのデータを用いて，生産性を向上するシステムの改良に取り組むとしている。
