PIFuHDの使い方入門 – 2D人物画像から3Dモデル作成(Python・PyTorch・Colaboratory)

PIFuHDの使い方入門 - 2D人物画像から3Dモデル作成(Python・PyTorch・Colaboratory)

 

気になる?PIFuHD

 

2020年6月中旬に公開されたニュース記事をきっかけに、2次元の人物画像から3次元モデルを作成(画像情報から人間の形状を復元)できる

・PIFuHD

facebookresearch /pifuhd(CC-BY-NC 4.0.)| GitHub

の存在が気になっている方もいるのではないかと思います。
ざっとコードを見てみた感じでは、人工知能・機械学習分野の先端研究でお馴染みの

・Python
・PyTorch

などでプログラミングされているようです。

 




 

PIFuHDについて調べてみると、PIFuHDの論文

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
arXivs.org:Submitted on 1 Apr 2020
https://arxiv.org/abs/2004.00452

自体はすでにarXivs.orgで発表されていたようですが、2020年6月15日にGitHubのFacebook Researchのページで、Google Colaboratoryのデモを公開してくださったこともあり

自分も試してみたい!でも、英語ばかりで使い方がわからない・・・

プログラミングや、プログラミング環境のことがわからないので、試したいけど手が出ない・・・

などとモヤモヤされている機械学習初学者の方や、ビジネスマン、学生の方も多いのではないかと思います。

 

PIFuHD関連のSNS上の投稿を眺めていると、使い方がわからない旨の投稿も見かけましたので早速

・PIFuHDの使い方(2D画像から3Dモデルの作成。3Dモデルをダウンロード)
・オリジナル3Dモデルを動かす方法(Adobe Mixamoでアニメーション)

などを動画でまとめてみました。

 

PIFuHDの使い方のチュートリアル動画を作成しました

 

【現代の魔法】PIFuHDの使い方入門:AIで2D人物画像から3Dモデル作成〜簡単アニメーションで遊ぶ(Adobe Mixamo)| YouTube動画 by RehabC

 

チュートリアル動画は以下のYouTube動画をご視聴ください。
動画では、イラストの人物画像を利用していますが、実際は本物の人間の画像で試してみてください。

【現代の魔法】PIFuHDの使い方入門:AIで2D人物画像から3Dモデル作成〜簡単アニメーションで遊ぶ(Adobe Mixamo)| YouTube動画

 

先端技術に触れるきっかけになることがありましたら幸いです。

 




 

その他にも、本来の使い方とは違うようですが、人物のシルエット画像でも3Dモデルが作成できてしまうようでした。不思議ですね・・・

 

噂のPIFuHD試してみた。簡単?画像1枚から高精細3Dモデル作成(YouTube動画)

視聴時間:42秒

 

by 子供プログラマー | プログラミング入門ウェブ教室

 

 

PyTorch入門講座:Python人工知能(AI)・機械学習プログラミング | 一覧へ 

 

【RVC WebUIでAIボイスチェンジャーの学習モデル作成 & ボイスチェンジ】

日本人のためのRVC WebUIの使い方:簡単オリジナルAIボイスチェンジャー作成

 

【RVC WebUIで作成した学習モデルでテキスト音声合成(テキスト音声読み上げ)】

VG WebUIの使い方:AIボイスチェンジャー(RVC WebUI)の学習モデルでテキスト音声合成(テキストの音声読み上げ:TTS – Text to Speach)入門

 

【音声認識】

【Python入門】日本語の文字起こしのやり方(音声認識:音声ファイル編)サンプルコード 

 

【音声合成】

【PyTorch入門】日本語のテキスト音声合成(E2E-TTS)- ESPnet・Tacotron 2版