facetorch下载 - facetorch源代码下载

facetorch

Ai源码

v0.5.1

下载

拥抱面部空间演示应用程序？

Google Colab笔记本演示

用户指南，文档，chatgpt FaceTorch指南

Docker Hub（GPU）

FaceTorch是一个python库，旨在用于面部检测和分析，利用深神经网络的力量。它的主要目的是策划社区的开源面部分析模型，使用Torchscript优化高性能，并将其集成到多功能的面部分析工具包中。图书馆提供以下关键功能：

可自定义配置：使用Hydra及其功能强大的OmeGaconf功能轻松配置您的设置。
可再现的环境：确保使用诸如Conda-Lock之类的工具可再现性，用于依赖关系管理和用于容器化的Docker。
加速性能：通过Torchscript优化，在CPU和GPU上均可提高性能。
简单的可扩展性：通过将模型文件上传到Google Drive并将相应的配置YAML文件添加到存储库来扩展库。

FaceTorch为面部分析任务提供了有效，可扩展和用户友好的解决方案，可满足寻求灵活性和性能的开发人员和研究人员的需求。

请负责任地使用此库。遵守欧盟委员会的伦理学指南，以确保道德和公平的用法。请记住，这些模型可能具有局限性和潜在的偏见，因此评估其产出并考虑其影响至关重要。

安装

PYPI

pip install facetorch

康达

conda install -c conda-forge facetorch

用法

先决条件

Docker
Docker组成

Docker撰写提供了一种简单的方法，可以用单个命令构建工作方面的环境。

运行Docker示例

CPU： docker compose run facetorch python ./scripts/example.py
GPU： docker compose run facetorch-gpu python ./scripts/example.py analyzer.device=cuda

检查数据/输出，以获取带有边界框和面部3D地标的结果图像。

（Apple Mac M1）在Docker桌面中使用Rosetta 2模拟器来运行CPU版本。

配置

该项目由位于conf中的文件配置，其中主文件： conf/config.yaml 。可以轻松地从配置中添加或删除模块。

成分

FaceAnalyzer是FaceTorch的主要类别，因为它是负责初始化和运行以下组件的编排者：

读取器 - 读取图像并返回包含图像张量的ImageData对象。
检测器 - 围绕检测面孔的神经网络包装。
Unifier-统一所有面的尺寸并在0到1之间归一化的处理器。
预测指标 - 围绕经过分析面部特征的神经网络的包装纸集。
使用者dict-围绕需要神经网络输出的任何功能的包装器集，例如绘制边界框或面部标志。

结构

 analyzer
    ├── reader
    ├── detector
    ├── unifier
    └── predictor
            ├── embed
            ├── verify
            ├── fer
            ├── au
            ├── va
            ├── deepfake
            └── align
    └── utilizer
            ├── align
            ├── draw
            └── save

型号

探测器

 |     model     |   source  |   params  |   license   | version |
| ------------- | --------- | --------- | ----------- | ------- |
|   RetinaFace  |  biubug6  |   27.3M   | MIT license |    1    |

Biubug6
- 代码：pytorch_retinaface
- 论文：邓等。 - 视网膜面：野外的单镜头多层面本地化

预测指标

面部表示学习（嵌入）

 |       model       |   source   |  params |   license   | version |  
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ResNet-50 VGG 1M |  1adrianb  |  28.4M  | MIT license |    1    |

1adrianb
- 代码：无监督的代表
- 纸：Bulat等。 - 培训前策略和面部表示学习数据集
- 注意： include_tensors必须是正确的才能在预测中包括模型预测。

面对验证（验证）

 |       model      |   source    |  params  |      license       | version |  
| ---------------- | ----------- | -------- | ------------------ | ------- |
|    MagFace+UNPG  | Jung-Jun-Uk |   65.2M  | Apache License 2.0 |    1    |
|  AdaFaceR100W12M |  mk-minchul |    -     |     MIT License    |    2    |

Jung-jun-uk
- 代码：UNPG
- 论文：Jung等。 - 统一的负面对生成朝着良好的歧视性特征空间用于面部识别
- （far = 0.01）
- 注意： include_tensors必须是正确的才能在预测中包括模型预测。
Mk-Minchul
- 代码：adaface
- 论文：Kim等。 -Adaface：面部识别的质量自适应余量
- <
- <
- <徽章代表在较小的Webface 4M数据集上训练的模型
- 注意： include_tensors必须是正确的才能在预测中包括模型预测。

面部表达识别（FER）

 |       model       |      source    |  params  |       license      | version |  
| ----------------- | -------------- | -------- | ------------------ | ------- |
| EfficientNet B0 7 | HSE-asavchenko |    4M    | Apache License 2.0 |    1    |
| EfficientNet B2 8 | HSE-asavchenko |   7.7M   | Apache License 2.0 |    2    |

HSE-ASAVCHENKO
- 代码：面部情绪识别
- 论文：Savchenko-基于轻量化神经网络的多任务学习的面部表达和属性识别
- B2
- B0
- B0

面部动作单元检测（AU）

 |        model        |   source  |  params |       license      | version |  
| ------------------- | --------- | ------- | ------------------ | ------- |
| OpenGraph Swin Base |  CVI-SZU  |   94M   |     MIT License    |    1    |

Cvi-szu
- 代码：me-graphau
- 论文：Luo等。 - 学习基于多维边缘特征的AU关系图，用于面部动作单元识别
- 呢不与Cuda> 12.0合作

面价唤醒（VA）

 |       model       |   source   |  params |   license   | version |
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ELIM AL AlexNet  | kdhht2334  |  2.3M   | MIT license |    1    |

KDHHT2334
- 代码：ELIM
- 论文：Kim等。 - 针对身份不变的面部表达识别的最佳基于运输的身份匹配

DeepFake检测（深泡）

 |         model        |      source      |  params  |   license   | version |
| -------------------- | ---------------- | -------- | ----------- | ------- |
|    EfficientNet B7   |     selimsef     |   66.4M  | MIT license |    1    |

Selimsef
- 代码：dfdc_deepfake_challenge
- 挑战：Seferbekov-深泡检测挑战挑战第一解决方案

面对对齐（对齐）

 |       model       |      source      |  params  |   license   | version |
| ----------------- | ---------------- | -------- | ----------- | ------- |
|    MobileNet v2   |     choyingw     |   4.1M   | MIT license |    1    |

choyingw
- 代码：Synergynet
- 挑战：Wu等。 - 3DMM和3D地标之间的协同作用，用于精确3D面部几何形状
- 注意： include_tensors必须是正确的才能在预测中包括模型预测。

模型下载

在运行时将模型自动下载到模型目录。您还可以从公共Google驱动器文件夹中手动下载型号。

执行时间

分析了大约486ms的图像test.jpg（4个面）（包括绘图盒和地标，但不保存），test3.jpg（25个面孔（25个面孔），大约1845ms（batch_size = 8）在NVIDIA TESLA TESLA TESLA TESLA t4 t4 GPU上默认配置（ CONF/CONF/CONF/predible ）的初始尺寸和散热尺寸为10的初始尺寸。可以使用调试级别监视日志中的执行时间。

详细的测试.jpg执行时间：

 analyzer
    ├── reader: 27 ms
    ├── detector: 193 ms
    ├── unifier: 1 ms
    └── predictor
            ├── embed: 8 ms
            ├── verify: 58 ms
            ├── fer: 28 ms
            ├── au: 57 ms
            ├── va: 1 ms
            ├── deepfake: 117 ms
            └── align: 5 ms
    └── utilizer
            ├── align: 8 ms
            ├── draw_boxes: 22 ms
            ├── draw_landmarks: 7 ms
            └── save: 298 ms

发展

运行Docker容器：

CPU： docker compose -f docker-compose.dev.yml run facetorch-dev
GPU： docker compose -f docker-compose.dev.yml run facetorch-dev-gpu

添加预测变量

先决条件

火有关模型的文件
Google驱动器型号文件的ID
Facetorch叉

FaceTorch与从Pytorch到Torchscript导出的型号合作。您可以将TORCH.JIT.TRACE函数应用于将Pytorch模型编译为Torchscript模块。请验证跟踪模型的输出等于原始模型的输出。

第一个型号托管在我的公共Google驱动器文件夹上。您可以将新型号发送给我，请在您的Google驱动器上托管该模型，也可以将其托管在其他地方，然后将自己的下载器对象添加到代码库中。

配置

创建yaml文件

在预测器配置目录/conf/analyzer/predictor/ perfer示例中创建任务的新文件夹，按/conf/analyzer/predictor/fer/
将yaml file /conf/analyzer/predictor/fer/efficientnet_b2_8.yaml analyzer/predictor/fer/ferficitynet_b2_8.yaml复制到新文件夹/conf/analyzer/predictor/<predictor_name>/
将yaml文件名更改为要使用的模型： /conf/analyzer/predictor/<predictor_name>/<model_name>.yaml analyzer/predictor/< predictor_name>/< model_name> .yaml

编辑yaml文件

将Google Drive文件ID更改为模型的ID。
选择预处理程序（或基于基于BasepredPrepropersors的新产品），并指定其参数，例如YAML文件中的图像大小和归一化，以匹配新模型的要求。
选择后处理器（或基于BasepredPostProcessor实现新的处理器），并指定其参数，例如YAML文件中的标签以符合新模型的要求。
（可选）添加使用模型的输出来执行一些其他操作的碱基衍生物。

配置测试

将新的预测变量添加到主config.yaml和所有tests.config.n.yaml文件。或者，创建一个新的配置文件，例如tests.config.n.yaml ，然后将其添加到/tests/conftest.py文件中。
在/tests/test_<predictor_name>.py test_predictor_name> .py中为新预测变量编写测试

测试并提交

运行linting： black facetorch
将新的预测变量添加到REDME模型表中。
更新ChangElog和版本
向存储库提交拉动请求

更新环境

中央处理器：

将带有相应版本的软件包添加到environment.yml文件
锁定环境： conda lock -p linux-64 -f environment.yml --lockfile conda-lock.yml
（替代Docker）锁定环境： docker compose -f docker-compose.dev.yml run facetorch-lock
安装锁定环境： conda-lock install --name env conda-lock.yml

GPU：

将带有相应版本的软件包添加到gpu.environment.yml文件
锁定环境： conda lock -p linux-64 -f gpu.environment.yml --lockfile gpu.conda-lock.yml
（替代Docker）锁定环境： docker compose -f docker-compose.dev.yml run facetorch-lock-gpu
安装锁定环境： conda-lock install --name env gpu.conda-lock.yml

运行测试 +覆盖范围

运行测试和生成覆盖范围： pytest tests --verbose --cov-report html:coverage --cov facetorch

生成文档

使用PDOC3从DOCSTRINGS生成文档： pdoc --html facetorch --output-dir docs --force --template-dir pdoc/templates/

分析

示例脚本的运行分析： python -m cProfile -o profiling/example.prof scripts/example.py
在浏览器中打开分析文件： snakeviz profiling/example.prof

研究突出显示利用FaceTorch

Sharma等。（2024）

Sharma，Paritosh，Camille Challant和Michael Filhol。 “使用Facshuman和Azee的手语合成的面部表情。” LREC-Coling 2024的第11届符号语言代表和处理研讨会的论文集，第354-360页，第2024页。

Liang等。（2023）

Liang，Cong，Jiahe Wang，Haofan Zhang，Bing Tang，Junshan Huang，Shangfei Wang和Chiaoping Chen。 “ Unifarn：面部反应产生的统一变压器。”第31届ACM国际多媒体会议论文集，第9506-9510页，2023年。

Gue等。（2023）

Gue，Jia Xuan，Chun Yong Chong和Mei Kuan Lim。 “面部表达识别是抑郁症的标志。” 2023年亚太信号和信息处理协会年度峰会和会议（APSIPA ASC） ，第674–680页，2023年。

致谢

我要感谢开源社区和分享他们的作品并出版模型的研究人员。没有他们的贡献，这个项目将是不可能的。

引用

如果您在工作中使用Facetorch，请确保适当地归功于其使用的模型的原始作者。此外，您可以考虑引用Facetorch库本身。以下是FaceTorch的示例引用：

 @misc{facetorch,
    author = {Gajarsky, Tomas},
    title = {Facetorch: A Python Library for Analyzing Faces Using PyTorch},
    year = {2024},
    publisher = {GitHub},
    journal = {GitHub Repository},
    howpublished = {url{https://github.com/tomas-gajarsky/facetorch}}
}

展开

附加信息