PIFuHDの使い方入門 - 2D人物画像から3Dモデル作成（Python・PyTorch・Colaboratory）

Table of Contents

気になる？PIFuHD

2020年6月中旬に公開されたニュース記事をきっかけに、2次元の人物画像から3次元モデルを作成（画像情報から人間の形状を復元）できる

・PIFuHD

：facebookresearch /pifuhd（CC-BY-NC 4.0.）| GitHub

の存在が気になっている方もいるのではないかと思います。
ざっとコードを見てみた感じでは、人工知能・機械学習分野の先端研究でお馴染みの

・Python
・PyTorch

などでプログラミングされているようです。

PIFuHDについて調べてみると、PIFuHDの論文

PIFuHD: Multi-Level Pixel-Aligned Implicit Function for High-Resolution 3D Human Digitization
arXivs.org：Submitted on 1 Apr 2020
https://arxiv.org/abs/2004.00452

自体はすでにarXivs.orgで発表されていたようですが、2020年6月15日にGitHubのFacebook Researchのページで、Google Colaboratoryのデモを公開してくださったこともあり

「 自分も試してみたい！でも、英語ばかりで使い方がわからない・・・ 」

「 プログラミングや、プログラミング環境のことがわからないので、試したいけど手が出ない・・・ 」

などとモヤモヤされている機械学習初学者の方や、ビジネスマン、学生の方も多いのではないかと思います。

PIFuHD関連のSNS上の投稿を眺めていると、使い方がわからない旨の投稿も見かけましたので早速

・PIFuHDの使い方（2D画像から3Dモデルの作成。3Dモデルをダウンロード）
・オリジナル3Dモデルを動かす方法（Adobe Mixamoでアニメーション）

などを動画でまとめてみました。

PIFuHDの使い方のチュートリアル動画を作成しました

チュートリアル動画は以下のYouTube動画をご視聴ください。
動画では、イラストの人物画像を利用していますが、実際は本物の人間の画像で試してみてください。

：【現代の魔法】PIFuHDの使い方入門：AIで2D人物画像から3Dモデル作成〜簡単アニメーションで遊ぶ（Adobe Mixamo）| YouTube動画

＊注：2025年1月21日時点 – 2025年1月に施行されたGoogle Colaboratoryの開発環境（依存関係）の変更に伴い、Google Colaboratory上では（自分の技量では）動かせません。
長い間、ご利用ありがとうございました。

→ 追記：2025年1月29日時点

【対応例】PIFuHDのエラー module ‘numpy’ has no attribute ‘int’ – Response Example Error in PIFuHD by RehabC – デジタルで、遊ぶ。| YouTube
視聴時間：2分53秒

の動画で解説しているコードを

追加コード：

!pip uninstall -y albucore
!pip install numpy==1.23.5 xarray==2024.7.0 scikit-image==0.24.0 pymc==5.19.0 bigframes==1.15.0 imbalanced-learn==0.12.4 blosc2==2.7.1 albumentations==1.3.1 jax==0.4.30 chex==0.1.7 optax==0.2.1

に変えることで、画像は出力できないものの、3Dモデル（objファイル）自体は出力されるとのことでした。
（「Render the result」の「import sys〜」のコードはエラーとなりますが、実行後に「from lib.colab_util〜」のコードを実行します）

先端技術に触れるきっかけになることがありましたら幸いです。

その他にも、本来の使い方とは違うようですが、人物のシルエット画像でも3Dモデルが作成できてしまうようでした。不思議ですね・・・

噂のPIFuHD試してみた。簡単？画像1枚から高精細3Dモデル作成（YouTube動画）

視聴時間：42秒