facetorch下載 - facetorch源代碼下載

facetorch

Ai源碼

v0.5.1

下載

擁抱面部空間演示應用程序？

Google Colab筆記本演示

用戶指南，文檔，chatgpt FaceTorch指南

Docker Hub（GPU）

FaceTorch是一個python庫，旨在用於面部檢測和分析，利用深神經網絡的力量。它的主要目的是策劃社區的開源面部分析模型，使用Torchscript優化高性能，並將其集成到多功能的面部分析工具包中。圖書館提供以下關鍵功能：

可自定義配置：使用Hydra及其功能強大的OmeGaconf功能輕鬆配置您的設置。
可再現的環境：確保使用諸如Conda-Lock之類的工具可再現性，用於依賴關係管理和用於容器化的Docker。
加速性能：通過Torchscript優化，在CPU和GPU上均可提高性能。
簡單的可擴展性：通過將模型文件上傳到Google Drive並將相應的配置YAML文件添加到存儲庫來擴展庫。

FaceTorch為面部分析任務提供了有效，可擴展和用戶友好的解決方案，可滿足尋求靈活性和性能的開發人員和研究人員的需求。

請負責任地使用此庫。遵守歐盟委員會的倫理學指南，以確保道德和公平的用法。請記住，這些模型可能具有局限性和潛在的偏見，因此評估其產出並考慮其影響至關重要。

安裝

PYPI

pip install facetorch

康達

conda install -c conda-forge facetorch

用法

先決條件

Docker
Docker組成

Docker撰寫提供了一種簡單的方法，可以用單個命令構建工作方面的環境。

運行Docker示例

CPU： docker compose run facetorch python ./scripts/example.py
GPU： docker compose run facetorch-gpu python ./scripts/example.py analyzer.device=cuda

檢查數據/輸出，以獲取帶有邊界框和麵部3D地標的結果圖像。

（Apple Mac M1）在Docker桌面中使用Rosetta 2模擬器來運行CPU版本。

配置

該項目由位於conf中的文件配置，其中主文件： conf/config.yaml 。可以輕鬆地從配置中添加或刪除模塊。

成分

FaceAnalyzer是FaceTorch的主要類別，因為它是負責初始化和運行以下組件的編排者：

讀取器 - 讀取圖像並返回包含圖像張量的ImageData對象。
檢測器 - 圍繞檢測面孔的神經網絡包裝。
Unifier-統一所有面的尺寸並在0到1之間歸一化的處理器。
預測指標 - 圍繞經過分析面部特徵的神經網絡的包裝紙集。
使用者dict-圍繞需要神經網絡輸出的任何功能的包裝器集，例如繪製邊界框或面部標誌。

結構

 analyzer
    ├── reader
    ├── detector
    ├── unifier
    └── predictor
            ├── embed
            ├── verify
            ├── fer
            ├── au
            ├── va
            ├── deepfake
            └── align
    └── utilizer
            ├── align
            ├── draw
            └── save

型號

探測器

 |     model     |   source  |   params  |   license   | version |
| ------------- | --------- | --------- | ----------- | ------- |
|   RetinaFace  |  biubug6  |   27.3M   | MIT license |    1    |

Biubug6
- 代碼：pytorch_retinaface
- 論文：鄧等。 - 視網膜面：野外的單鏡頭多層面本地化

預測指標

面部表示學習（嵌入）

 |       model       |   source   |  params |   license   | version |  
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ResNet-50 VGG 1M |  1adrianb  |  28.4M  | MIT license |    1    |

1adrianb
- 代碼：無監督的代表
- 紙：Bulat等。 - 培訓前策略和麵部表示學習數據集
- 注意： include_tensors必須是正確的才能在預測中包括模型預測。

面對驗證（驗證）

 |       model      |   source    |  params  |      license       | version |  
| ---------------- | ----------- | -------- | ------------------ | ------- |
|    MagFace+UNPG  | Jung-Jun-Uk |   65.2M  | Apache License 2.0 |    1    |
|  AdaFaceR100W12M |  mk-minchul |    -     |     MIT License    |    2    |

Jung-jun-uk
- 代碼：UNPG
- 論文：Jung等。 - 統一的負面對生成朝著良好的歧視性特徵空間用於面部識別
- （far = 0.01）
- 注意： include_tensors必須是正確的才能在預測中包括模型預測。
Mk-Minchul
- 代碼：adaface
- 論文：Kim等。 -Adaface：面部識別的質量自適應餘量
- <
- <
- <徽章代表在較小的Webface 4M數據集上訓練的模型
- 注意： include_tensors必須是正確的才能在預測中包括模型預測。

面部表達識別（FER）

 |       model       |      source    |  params  |       license      | version |  
| ----------------- | -------------- | -------- | ------------------ | ------- |
| EfficientNet B0 7 | HSE-asavchenko |    4M    | Apache License 2.0 |    1    |
| EfficientNet B2 8 | HSE-asavchenko |   7.7M   | Apache License 2.0 |    2    |

HSE-ASAVCHENKO
- 代碼：面部情緒識別
- 論文：Savchenko-基於輕量化神經網絡的多任務學習的面部表達和屬性識別
- B2
- B0
- B0

面部動作單元檢測（AU）

 |        model        |   source  |  params |       license      | version |  
| ------------------- | --------- | ------- | ------------------ | ------- |
| OpenGraph Swin Base |  CVI-SZU  |   94M   |     MIT License    |    1    |

Cvi-szu
- 代碼：me-graphau
- 論文：Luo等。 - 學習基於多維邊緣特徵的AU關係圖，用於面部動作單元識別
- 呢不與Cuda> 12.0合作

面價喚醒（VA）

 |       model       |   source   |  params |   license   | version |
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ELIM AL AlexNet  | kdhht2334  |  2.3M   | MIT license |    1    |

KDHHT2334
- 代碼：ELIM
- 論文：Kim等。 - 針對身份不變的面部表達識別的最佳基於運輸的身份匹配

DeepFake檢測（深泡）

 |         model        |      source      |  params  |   license   | version |
| -------------------- | ---------------- | -------- | ----------- | ------- |
|    EfficientNet B7   |     selimsef     |   66.4M  | MIT license |    1    |

Selimsef
- 代碼：dfdc_deepfake_challenge
- 挑戰：Seferbekov-深泡檢測挑戰挑戰第一解決方案

面對對齊（對齊）

 |       model       |      source      |  params  |   license   | version |
| ----------------- | ---------------- | -------- | ----------- | ------- |
|    MobileNet v2   |     choyingw     |   4.1M   | MIT license |    1    |

choyingw
- 代碼：Synergynet
- 挑戰：Wu等。 - 3DMM和3D地標之間的協同作用，用於精確3D面部幾何形狀
- 注意： include_tensors必須是正確的才能在預測中包括模型預測。

模型下載

在運行時將模型自動下載到模型目錄。您還可以從公共Google驅動器文件夾中手動下載型號。

執行時間

分析了大約486ms的圖像test.jpg（4個面）（包括繪圖盒和地標，但不保存），test3.jpg（25個面孔（25個面孔），大約1845ms（batch_size = 8）在NVIDIA TESLA TESLA TESLA TESLA t4 t4 GPU上默認配置（ CONF/CONF/CONF/predible ）的初始尺寸和散熱尺寸為10的初始尺寸。可以使用調試級別監視日誌中的執行時間。

詳細的測試.jpg執行時間：

 analyzer
    ├── reader: 27 ms
    ├── detector: 193 ms
    ├── unifier: 1 ms
    └── predictor
            ├── embed: 8 ms
            ├── verify: 58 ms
            ├── fer: 28 ms
            ├── au: 57 ms
            ├── va: 1 ms
            ├── deepfake: 117 ms
            └── align: 5 ms
    └── utilizer
            ├── align: 8 ms
            ├── draw_boxes: 22 ms
            ├── draw_landmarks: 7 ms
            └── save: 298 ms

發展

運行Docker容器：

CPU： docker compose -f docker-compose.dev.yml run facetorch-dev
GPU： docker compose -f docker-compose.dev.yml run facetorch-dev-gpu

添加預測變量

先決條件

火有關模型的文件
Google驅動器型號文件的ID
Facetorch叉

FaceTorch與從Pytorch到Torchscript導出的型號合作。您可以將TORCH.JIT.TRACE函數應用於將Pytorch模型編譯為Torchscript模塊。請驗證跟踪模型的輸出等於原始模型的輸出。

第一個型號託管在我的公共Google驅動器文件夾上。您可以將新型號發送給我，請在您的Google驅動器上託管該模型，也可以將其託管在其他地方，然後將自己的下載器對象添加到代碼庫中。

配置

創建yaml文件

在預測器配置目錄/conf/analyzer/predictor/ perfer示例中創建任務的新文件夾，按/conf/analyzer/predictor/fer/
將yaml file /conf/analyzer/predictor/fer/efficientnet_b2_8.yaml analyzer/predictor/fer/ferficitynet_b2_8.yaml複製到新文件夾/conf/analyzer/predictor/<predictor_name>/
將yaml文件名更改為要使用的模型： /conf/analyzer/predictor/<predictor_name>/<model_name>.yaml analyzer/predictor/< predictor_name>/< model_name> .yaml

編輯yaml文件

將Google Drive文件ID更改為模型的ID。
選擇預處理程序（或基於基於BasepredPrepropersors的新產品），並指定其參數，例如YAML文件中的圖像大小和歸一化，以匹配新模型的要求。
選擇後處理器（或基於BasepredPostProcessor實現新的處理器），並指定其參數，例如YAML文件中的標籤以符合新模型的要求。
（可選）添加使用模型的輸出來執行一些其他操作的鹼基衍生物。

配置測試

將新的預測變量添加到主config.yaml和所有tests.config.n.yaml文件。或者，創建一個新的配置文件，例如tests.config.n.yaml ，然後將其添加到/tests/conftest.py文件中。
在/tests/test_<predictor_name>.py test_predictor_name> .py中為新預測變量編寫測試

測試並提交

運行linting： black facetorch
將新的預測變量添加到REDME模型表中。
更新ChangElog和版本
向存儲庫提交拉動請求

更新環境

中央處理器：

將帶有相應版本的軟件包添加到environment.yml文件
鎖定環境： conda lock -p linux-64 -f environment.yml --lockfile conda-lock.yml
（替代Docker）鎖定環境： docker compose -f docker-compose.dev.yml run facetorch-lock
安裝鎖定環境： conda-lock install --name env conda-lock.yml

GPU：

將帶有相應版本的軟件包添加到gpu.environment.yml文件
鎖定環境： conda lock -p linux-64 -f gpu.environment.yml --lockfile gpu.conda-lock.yml
（替代Docker）鎖定環境： docker compose -f docker-compose.dev.yml run facetorch-lock-gpu
安裝鎖定環境： conda-lock install --name env gpu.conda-lock.yml

運行測試 +覆蓋範圍

運行測試和生成覆蓋範圍： pytest tests --verbose --cov-report html:coverage --cov facetorch

生成文檔

使用PDOC3從DOCSTRINGS生成文檔： pdoc --html facetorch --output-dir docs --force --template-dir pdoc/templates/

分析

示例腳本的運行分析： python -m cProfile -o profiling/example.prof scripts/example.py
在瀏覽器中打開分析文件： snakeviz profiling/example.prof

研究突出顯示利用FaceTorch

Sharma等。（2024）

Sharma，Paritosh，Camille Challant和Michael Filhol。 “使用Facshuman和Azee的手語合成的面部表情。” LREC-Coling 2024的第11屆符號語言代表和處理研討會的論文集，第354-360頁，第2024頁。

Liang等。（2023）

Liang，Cong，Jiahe Wang，Haofan Zhang，Bing Tang，Junshan Huang，Shangfei Wang和Chiaoping Chen。 “ Unifarn：面部反應產生的統一變壓器。”第31屆ACM國際多媒體會議論文集，第9506-9510頁，2023年。

Gue等。（2023）

Gue，Jia Xuan，Chun Yong Chong和Mei Kuan Lim。 “面部表達識別是抑鬱症的標誌。” 2023年亞太信號和信息處理協會年度峰會和會議（APSIPA ASC） ，第674–680頁，2023年。

致謝

我要感謝開源社區和分享他們的作品並出版模型的研究人員。沒有他們的貢獻，這個項目將是不可能的。

引用

如果您在工作中使用Facetorch，請確保適當地歸功於其使用的模型的原始作者。此外，您可以考慮引用Facetorch庫本身。以下是FaceTorch的示例引用：

 @misc{facetorch,
    author = {Gajarsky, Tomas},
    title = {Facetorch: A Python Library for Analyzing Faces Using PyTorch},
    year = {2024},
    publisher = {GitHub},
    journal = {GitHub Repository},
    howpublished = {url{https://github.com/tomas-gajarsky/facetorch}}
}

展開

附加信息