東大ら,複数人を同時にモーションキャプチャー

東京大学,NTTドコモ(ドコモ)の研究グループは,東京大学が開発したカメラ映像だけからモーションキャプチャーを行なう技術「VMocap」を応用することで,特殊な装置やスーツを用いずに,広い空間における複数人のモーションキャプチャーを行なう技術を開発した(ニュースリリース)。

「VMocap」は深層学習によってカメラ映像における人の身体部位を推定する技術を,複数台のカメラから用いることで,3次元空間における身体部位の位置を推測し,その位置に対して骨格構造と運動の連続性に基づくフィルタ処理を施すことで,カメラ映像のみから高精度で滑らかなモーションキャプチャーを行なうもの。

一般的にモーションキャプチャーを行なうためには特殊な装置やスーツが必要で,計測場所や利用シーンが限定されている。近年では画像認識技術を応用することで特殊な機材を用いずに,カメラ映像だけからモーションキャプチャーを行なう技術も登場している。

しかし,映像上における人同士の重なり合いによる解析の難しさや,背景が切り抜き易い環境でしか用いることができないといった制約が原因で,屋内・屋外,空間の広さを問わずに複数人の高精度なモーションキャプチャーを行なう技術は実現されていなかった。

この技術は解析に用いるべき最適な映像を,複数のカメラから自動的に選択して切り替えることで,広い空間における複数人のモーションキャプチャーを行なう。

また,人同士の身体が映像上で重なって見える状況下でも,人の骨格構造と運動の連続性,そして最新の画像認識技術を活用することによって頑強に運動を推定することができ,フットサルのように複数の選手が激しく動き回るようなシーンでも,高精度で滑らかなモーションデータや骨の動きが取得出来ることを実証した。

またこの技術に加え,東京大学がもつロボティクスに基づいた動作解析技術を用いることで,骨の運動だけでなく身体に働く力や筋の活動まで計算し,可視化できることを確認した。これによって複数台のカメラ映像だけから,運動の計測・解析までが一貫して行なえるようになった。

今後はこの技術を,サッカー・野球・体操・フィギュアスケートなどのスポーツに適用し,トレーニングや戦術解析,障がい予防,運動のアーカイブ化などに役立てていくという。また,エンターテインメント領域における3Dアニメーション作成,介護・リハビリ現場での運動評価などにも活用していく予定としている。

なお,2020年1月23日(木)~1月24日(金)に東京ビッグサイトで開催する「DOCOMO Open House2020」にてこの技術に関するデモ展示を行なう。

その他関連ニュース

  • 神大,深層学習で脳機能画像からマウスの行動を識別 2024年03月22日
  • 東北大,AI画像診断の医学的な妥当性に疑義 2024年02月28日
  • 立教大,フーリエ変換を使った画像認識手法を開発 2024年02月06日
  • SCREEN,基板向けAI検査計測ソリューションを設立 2024年01月29日
  • エビデント,顕微鏡用デジタルカメラを発売 2024年01月24日
  • リコー,車両塗装外観検査装置を発売 2023年12月20日
  • NIIら,眼底画像から性別を推定するAIを開発 2023年12月07日
  • 理研ら,屈折コントラストCTを高速領域分割解析 2023年11月17日