Cork

大学生スプリンターの考えすぎる練習日誌

どこにでもいる大学2年生の短距離練習日誌

AIで自分の走りを3Dメッシュ化してみた ~Densepose編~

 

 Denseposeという姿勢推定アルゴリズムがある。

 

これを用いれば、スポーツを言葉通り、新しい角度から見ることができる。

 

 

今まで自分は動かせなかった。

自分の使っている Mac book Pro には NVIDIAGPUが乗っていないから。

 

 

でも、Google colabのコンピュータでプログラムを実行すれば、簡単に誰でも作れることがわかった。

 

 

これは、僕の400mの写真。メッシュ化した。

 

f:id:ryutaromiya:20191202190322p:plain

3Dメッシュ化

f:id:ryutaromiya:20191202190313p:plain

人物のみ抽出

 

 

やり方

スマホでもできる。最初はだいたい平均で10minくらいで作れる。

 

 

 

①このサイトにアクセス

 

https://colab.research.google.com/github/tugstugi/dl-colab-notebooks/blob/master/notebooks/DensePose.ipynb

 

 

 

②コピーを保存

 

リンク先で共有されているのは、読み取り専用だ。

プログラムを実行するには、コピーを保存する必要がある。

 

f:id:ryutaromiya:20191202191040p:plain

ファイル→ドライブにコピーを保存

 

 

③セルを実行する

 

ページ内にある、プログラムの書かれたブロックは、この世界ではセルと呼ばれている。

セルの左上には次のような三角マークがある。

f:id:ryutaromiya:20191202190831p:plain

三角マーク(実行ボタン)



それをクリックすれば良い。(スマホでもタップすれば良い。PCなら shift + Enter  でもいける)

 

実行するとくるくる回る

 

f:id:ryutaromiya:20191202191319p:plain

実行中の様子

 

細かいチュートリアルはこれを見ると良い。

https://colab.research.google.com/notebooks/welcome.ipynb?hl=ja

 

 

 

④4つ目のセルまで実行する

 

セルを実行すると、セルのすぐ下に結果が表示される。

 

2つめのセルの実行結果は次のような感じになれば成功。

 

f:id:ryutaromiya:20191202191612p:plain

2つめのセルの成功

4つめはこんな感じ。こうなれば3つめが上手く実行できたことになる。

f:id:ryutaromiya:20191202191910p:plain

4つめの成功結果

⑤画像をアップロード

 

このセルを実行する前に、メッシュ化したい画像をアップロードする必要がある。

f:id:ryutaromiya:20191202192046p:plain

これの前にアップロード

画面左の三角(実行ボタンではない)をクリック。

f:id:ryutaromiya:20191202200628p:plain

 

開くとこうなる。

f:id:ryutaromiya:20191202200725p:plain

ファイル

ここの、

DensePose→ DensePoseData→demo_data

にデータをアップロードする。

f:id:ryutaromiya:20191202201023p:plain

ここにアップロード

 

 

⑥プログラムの変更

 

そしたら、アップロードしたファイル名に、プログラムを変更する。

f:id:ryutaromiya:20191202201101p:plain

編集すべき箇所

⑦ 残りのセルの実行

 

 あとは、残りの2つのセルを実行すれば、結果が表示される。

 

f:id:ryutaromiya:20191202201335p:plain

 

 

 

使い道

 

陸上

・動画からはわからない接地の3Dな様子

(足のつき方を前後左右自由な角度から見られる)

 

・他の人の走りとメッシュを重ねて、フォームの違いを見る

 

他にも、ウェイトトレーニングやサッカーなど、ありとあらゆる人の動きの解析を、

このメッシュ化という手法は革命的に進化させるだろう。