PIFu Download - PIFu Source code download

PIFu

Python

1.0.0

下載

pifu：高分辨率服裝人數數字化的像素一致的隱式函數

消息：

[2020/05/04]為培訓數據生成添加了EGL渲染選項。現在，您可以使用無頭機器創建自己的培訓數據！
[2020/04/13]與Google Colab的演示（包括可視化）可用。特別感謝@nanopoteto！
[2020/02/26]許可證已更新為MIT許可證！享受！

該存儲庫包含“ PIFU：與高分辨率服裝人體數字化的隱式函數”的Pytorch實現。

項目頁面

如果您發現該代碼在研究中有用，請考慮引用論文。

 @InProceedings{saito2019pifu,
author = {Saito, Shunsuke and Huang, Zeng and Natsume, Ryota and Morishima, Shigeo and Kanazawa, Angjoo and Li, Hao},
title = {PIFu: Pixel-Aligned Implicit Function for High-Resolution Clothed Human Digitization},
booktitle = {The IEEE International Conference on Computer Vision (ICCV)},
month = {October},
year = {2019}
}

該代碼庫提供：

測試代碼
培訓代碼
數據生成代碼

要求

Python 3
Pytorch在1.4.0測試
JSON
pil
略讀
TQDM
numpy
CV2

用於培訓和數據生成

Trimeh與Pyembree
pyexr
pyopengl
freeGlut（使用sudo apt-get install freeglut3-dev for ubuntu用戶）
（可選的）EGL相關軟件包，用於使用無頭機器渲染。（使用apt install libgl1-mesa-dri libegl1-mesa libgbm1適用於ubuntu用戶）

警告：我發現過時的NVIDIA駕駛員可能會因EGL造成錯誤。如果您想嘗試EGL版本，請更新您的NVIDIA驅動程序！

Windows演示安裝機構

安裝Miniconda
將conda添加到路徑
安裝git bash
啟動Gitbinbash.exe
eval "$(conda shell.bash hook)"因此， conda activate my_env因此
自動env create -f environment.yml （查看此）
或手動設置環境
- conda create —name pifu python ， pifu是您環境的名稱
- conda activate
- conda install pytorch torchvision cudatoolkit=10.1 -c pytorch
- conda install pillow
- conda install scikit-image
- conda install tqdm
- conda install -c menpo opencv
下載wget.exe
將其放入Gitmingw64bin
sh ./scripts/download_trained_model.sh
從圖像中刪除背景（例如，這）
創建黑白面具.png
替換sample_images/
嘗試 - sh ./scripts/test.sh
因此下載Meshlab
在Meshlab中打開.obj文件

演示

警告：釋放的模型經過訓練，大多數是直立的立式掃描，視角投影較弱，音高為0度。重建質量可能會降低高度偏離火車數據的圖像。

運行以下腳本以從以下鏈接下載驗證的模型，並在./PIFu/checkpoints/下複製它們。

 sh ./scripts/download_trained_model.sh

運行以下腳本。該腳本在./PIFu/eval_results/下創建一個紋理的.obj文件。您可能需要使用./apps/crop_img.py將輸入映像和相應的掩碼與訓練數據進行對齊，以提高性能。為了刪除背景，您可以使用任何現成的工具，例如RemoveBG。

 sh ./scripts/test.sh

Google Colab上的演示

如果您沒有運行PIFU的設置，我們會提供Google COLAB版本來嘗試一下，從而可以免費在雲中運行PIFU，免費提供。使用以下筆記本嘗試我們的COLAB演示：

數據生成（僅限Linux）

雖然由於限制了撰寫書籍掃描，因此我們無法發布完整的培訓數據，但我們使用RenderPeople中的免費模型提供了渲染代碼。本教程使用rp_dennis_posed_004型號。請從此鏈接下載模型，然後在名為rp_dennis_posed_004_OBJ的文件夾下解壓縮內容。相同的過程可以應用於其他RenderPeople數據。

警告：以下代碼在沒有pyembree的情況下變得非常慢。請確保安裝Pyembree。

運行以下腳本以計算預先計算的輻射轉移（PRT）的球形諧波係數。簡而言之，PRT用於說明精確的光傳輸，包括環境遮擋而不損害在線渲染時間，這與使用表面正常的常見拼寫諧波相比，這顯著改善了光真相。每個OBJ文件必須完成此過程一次。

 python -m apps.prt_util -i {path_to_rp_dennis_posed_004_OBJ}

運行以下腳本。在指定的數據路徑下，該代碼創建名為GEO ， RENDER ， MASK ， PARAM ， UV_RENDER ， UV_MASK ， UV_NORMAL和UV_POS文件夾。請注意，您可能需要列出驗證主題，以在{path_to_training_data}/val.txt中排除在培訓中（本教程只有一個主題，將其留為空）。如果您希望使用配備NVIDIA GPU的無頭服務器渲染圖像，請添加-e以啟用EGL渲染。

 python -m apps.render_data -i {path_to_rp_dennis_posed_004_OBJ} -o {path_to_training_data} [-e]

培訓（僅限Linux）

警告：以下代碼在沒有pyembree的情況下變得非常慢。請確保安裝Pyembree。

運行以下腳本以訓練形狀模塊。中間結果和檢查點分別在./results results和./checkpoints下保存。您可以添加--batch_size和--num_sample_input標誌，以根據可用的GPU內存調整批處理大小和採樣點的數量。

 python -m apps.train_shape --dataroot {path_to_training_data} --random_flip --random_scale --random_trans

運行以下腳本以訓練顏色模塊。

 python -m apps.train_color --dataroot {path_to_training_data} --num_sample_inout 0 --num_sample_color 5000 --sigma 0.1 --random_flip --random_scale --random_trans