東京大学大学院情報理工学系研究科の中村仁彦教授と池上洋介助教らのグループは、AIを用いて複数台のカメラ映像から屋内、屋外、服装を問わずに、全身の運動を計測をマーカーをつけずに行う『マーカレスモーションキャプチャ』を実施する技術を開発した。さらに、撮影から骨格の運動の3次元再構成、運動に必要な筋活動の推定と可視化までを、自動的に効率的に行う技術を確立した。これによって、従来のマーカを取り付けて行うモーションキャプチャでは、時間と手間がかかって行えなかった大人数の運動計測が可能となり、運動データのビッグデータ化を推進することが可能になった。今後は、スポーツ、介護、医療等の多岐にわたる分野でこの技術の応用範囲を広げ、実用化を目指す。
多大な手間・コストが課題に
人間の動作の解析や、3Dアニメーション用のデータの取得には不可欠な技術であるモ―ションキャプチャ。しかし、体に40個前後のマーカを取り付け、多くの特殊なカメラで観察して、その後身体運動を解析するもので、計測までに準備が時間単位でかかり、身体の運動の解析にも人手の作業が入るため、多くのデータを取得して解析することは困難で、コストもかかることも課題となっていた。
ここ数年のAIの研究で、単一のビデオ画像から人間の姿を見つけ関節の位置を推定する深層学習が可能になったが、3次元再構成ができ、従来のモーションキャプチャのようになめらかで高い精度を得る技術は実現されてなかった。
東京大で開発したAIビデオモーキャップ技術では、複数台のカメラの映像から深層学習を用いて推定した関節位置から、人間の骨格の構造と運動の連続性を考慮して3次元再構成を行うことで、従来のモーションキャプチャに近い滑らかな運動計測に成功した。
2020年五輪での活用も
具体的には、4台のカメラの映像をそれぞれ深層学習処理して関節位置を推定し、すべての情報を用いた骨格の運動の3次元再構成、身体に働く力と筋の活動の解析をロボティクスの効率的計算法を用いて行い、その結果を表示するところまでをリアルタイムで自動的に行えることを実証した。
これによって屋内、屋外、着ている服装を問わずビデオ映像だけからのリアルタイムの運動解析が可能になった。また、ビデオ映像をアップロードするだけで動作解析結果を返信するインターネットサービスの基礎ができた。今後は次のような場面での活用が期待される。
(1)アバターの全身運動をリアルタイムで生成
(2)3Dアニメ―ション製作を低コスト化
(3)2020年のオリンピック、パラリンピックに向けて運動解析を自由自在に
(4)トレーニングを継続的に記録して科学的トレーニングに活用
(5)スポーツ・トレーニングでの筋への負荷や疲労を定量化して記録
(6)スポーツにおけるケガの発見や予防に応用
(7)体操やフィギュアスケートなどをカメラ映像から自動採点
(8)サッカーやバスケットボールなどフィールド内の全選手の動作を一挙に取得
(9)試合中の選手個人の能力、チームの連携を一挙手一投足までデータ化
(10)試合中にリアルタイムでチームの戦略立案の支援
(11)高齢者の日常の観察で運動機能の変化を見える化
(12)グループホームのラジオ体操で毎日全員の動作を評価
(13)5G通信で映像を送りスポーツ、トレーニング、リハビリのビッグデータを蓄積