東大ら,複数人を同時にモーションキャプチャー

東京大学,NTTドコモ(ドコモ)の研究グループは,東京大学が開発したカメラ映像だけからモーションキャプチャーを行なう技術「VMocap」を応用することで,特殊な装置やスーツを用いずに,広い空間における複数人のモーションキャプチャーを行なう技術を開発した(ニュースリリース)。

「VMocap」は深層学習によってカメラ映像における人の身体部位を推定する技術を,複数台のカメラから用いることで,3次元空間における身体部位の位置を推測し,その位置に対して骨格構造と運動の連続性に基づくフィルタ処理を施すことで,カメラ映像のみから高精度で滑らかなモーションキャプチャーを行なうもの。

一般的にモーションキャプチャーを行なうためには特殊な装置やスーツが必要で,計測場所や利用シーンが限定されている。近年では画像認識技術を応用することで特殊な機材を用いずに,カメラ映像だけからモーションキャプチャーを行なう技術も登場している。

しかし,映像上における人同士の重なり合いによる解析の難しさや,背景が切り抜き易い環境でしか用いることができないといった制約が原因で,屋内・屋外,空間の広さを問わずに複数人の高精度なモーションキャプチャーを行なう技術は実現されていなかった。

この技術は解析に用いるべき最適な映像を,複数のカメラから自動的に選択して切り替えることで,広い空間における複数人のモーションキャプチャーを行なう。

また,人同士の身体が映像上で重なって見える状況下でも,人の骨格構造と運動の連続性,そして最新の画像認識技術を活用することによって頑強に運動を推定することができ,フットサルのように複数の選手が激しく動き回るようなシーンでも,高精度で滑らかなモーションデータや骨の動きが取得出来ることを実証した。

またこの技術に加え,東京大学がもつロボティクスに基づいた動作解析技術を用いることで,骨の運動だけでなく身体に働く力や筋の活動まで計算し,可視化できることを確認した。これによって複数台のカメラ映像だけから,運動の計測・解析までが一貫して行なえるようになった。

今後はこの技術を,サッカー・野球・体操・フィギュアスケートなどのスポーツに適用し,トレーニングや戦術解析,障がい予防,運動のアーカイブ化などに役立てていくという。また,エンターテインメント領域における3Dアニメーション作成,介護・リハビリ現場での運動評価などにも活用していく予定としている。

なお,2020年1月23日(木)~1月24日(金)に東京ビッグサイトで開催する「DOCOMO Open House2020」にてこの技術に関するデモ展示を行なう。

その他関連ニュース

  • 岡山大,PCによる手軽な画像自動分類AIを開発 2021年10月19日
  • 阪大,深層学習向けに航空写真の雲を自動除去 2021年08月23日
  • 宇大,深層学習による画像の雑音除去を開発 2021年08月19日
  • ニデック,眼底診断向け光干渉断層計を発売 2021年07月08日
  • NEC,非接触のアプリケーション操作を実現 2021年06月09日
  • キヤノン,非接触測長計を発売 2021年05月10日
  • 名市大ら,3D映像の細胞集団をソフトで自動追跡 2021年03月31日
  • 理科大ら,近赤ハイパースペクトル画像で腫瘍識別 2021年02月03日