Главная страница>Связанные с программированием>AI Исходный код
Скачать

Объятие демонстрационного приложения для лица?

Google Colab Notebook Demo

Руководство пользователя, документация, Руководство по аспектам CHATGPT

Docker Hub (GPU)

Facetorch - это библиотека Python, разработанная для обнаружения и анализа лица, используя силу глубоких нейронных сетей. Его основная цель-курировать модели анализа лиц с открытым исходным кодом от сообщества, оптимизировать их для высокой производительности с использованием TorchScript и интегрировать их в универсальный инструментарий анализа лица. Библиотека предлагает следующие ключевые функции:

  1. Настраиваемая конфигурация: легко настроить вашу настройку с помощью HYDRA и ее мощных возможностей Omegaconf.

  2. Воспроизводимые среды: обеспечить воспроизводимость с помощью таких инструментов, как Conda-Lock для управления зависимостями и докера для контейнеризации.

  3. Ускоренная производительность: наслаждайтесь повышенной производительностью как на процессоре, так и на графическом процессоре с оптимизацией TorchScript.

  4. Простая расширяемость: расширить библиотеку, загрузив файл модели в Google Drive и добавив соответствующий файл YAML конфигурации в репозиторий.

Facetorch предоставляет эффективное, масштабируемое и удобное решение для задач анализа лица, обслуживания разработчиков и исследователей, ищущих гибкость и производительность.

Пожалуйста, используйте эту библиотеку ответственно и с осторожностью. Придерживаться руководства по этике Европейской комиссии для заслуживающего доверия ИИ, чтобы обеспечить этическое и справедливое использование. Имейте в виду, что модели могут иметь ограничения и потенциальные смещения, поэтому крайне важно критически оценить их результаты и рассмотреть их влияние.

Установить

Пипи 

pip install facetorch

Конда 

conda install -c conda-forge facetorch

Использование

Предварительные условия

  • Докер
  • Docker Compose

Docker Compose предоставляет простой способ создания рабочей среды аспекта с одной командой.

Запустите пример Docker

  • ЦП: docker compose run facetorch python ./scripts/example.py
  • GPU: docker compose run facetorch-gpu python ./scripts/example.py analyzer.device=cuda

Проверьте данные/вывод для полученных изображений с ограничительными коробками и 3D -ориентирами лица.

(Apple Mac M1) Используйте эмулятор Rosetta 2 в Docker Desktop для запуска версии процессора.

Настройка

Проект настроен файлами, расположенными в Conf с основным файлом: conf/config.yaml . Можно легко добавить или удалить модули из конфигурации.

Компоненты

FaceAnalyzer является основным классом Facetorch, поскольку это оркестратор, ответственный за инициализацию и запуск следующих компонентов:

  1. Читатель - читает изображение и возвращает объект ImageData, содержащий тензор изображения.
  2. Детектор - Обертка вокруг нейронной сети, которая обнаруживает лица.
  3. Unifier - процессор, который объединяет размеры всех лиц и нормализует их от 0 до 1.
  4. Predictor DICT - набор оберток вокруг нейронных сетей, обученных анализировать особенности лица.
  5. Утилизатор DICT - набор оберток вокруг любой функциональности, которая требует вывода нейронных сетей, например, рисунок ограничивающих ящиков или достопримечательностей лица.

Структура 

 analyzer
    ├── reader
    ├── detector
    ├── unifier
    └── predictor
            ├── embed
            ├── verify
            ├── fer
            ├── au
            ├── va
            ├── deepfake
            └── align
    └── utilizer
            ├── align
            ├── draw
            └── save

Модели

Детектор 

 |     model     |   source  |   params  |   license   | version |
| ------------- | --------- | --------- | ----------- | ------- |
|   RetinaFace  |  biubug6  |   27.3M   | MIT license |    1    |
  1. Biubug6
    • Код: pytorch_retinaface
    • Бумага: Deng et al. -RETINAFACE: одноразовая локализация лиц с одним выстрелом в дикой природе

Предиктор

Обучение на лице (Enced) 

 |       model       |   source   |  params |   license   | version |  
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ResNet-50 VGG 1M |  1adrianb  |  28.4M  | MIT license |    1    |
  1. 1адрианб
    • Код: неконтролируемое открытие
    • Бумага: Bulat et al. - Стратегии предварительного обучения и наборы данных для обучения представлению лица
    • Примечание. Включите include_tensors , чтобы быть правдой, чтобы включить прогноз модели в прогноз.

Проверка лица (проверка) 

 |       model      |   source    |  params  |      license       | version |  
| ---------------- | ----------- | -------- | ------------------ | ------- |
|    MagFace+UNPG  | Jung-Jun-Uk |   65.2M  | Apache License 2.0 |    1    |
|  AdaFaceR100W12M |  mk-minchul |    -     |     MIT License    |    2    |
  1. Юнг-Джун-Юк
    • Код: UNPG
    • Бумага: Jung et al. - Единое генерация негативной пары в направлении хорошо дискриминационного пространства для распознавания лица
    • (Далеко = 0,01)
    • Примечание. Включите include_tensors , чтобы быть правдой, чтобы включить прогноз модели в прогноз.
  2. МК-Минчул
    • Код: Adaface
    • Бумага: Kim et al. - Adaface: качественная адаптивная маржа для распознавания лица
    • <
    • <
    • <Значки представляют модели, обученные небольшим набору данных Webface 4M
    • Примечание. Включите include_tensors , чтобы быть правдой, чтобы включить прогноз модели в прогноз.

Распознавание экспрессии лица (FER) 

 |       model       |      source    |  params  |       license      | version |  
| ----------------- | -------------- | -------- | ------------------ | ------- |
| EfficientNet B0 7 | HSE-asavchenko |    4M    | Apache License 2.0 |    1    |
| EfficientNet B2 8 | HSE-asavchenko |   7.7M   | Apache License 2.0 |    2    |
  1. HSE-Asavchenko
    • Код: распознавание лица
    • Бумага: Savchenko - выражение лица и признание атрибутов на основе многозадачного изучения легких нейронных сетей
    • B2
    • B0
    • B0

Обнаружение единицы действия лица (AU) 

 |        model        |   source  |  params |       license      | version |  
| ------------------- | --------- | ------- | ------------------ | ------- |
| OpenGraph Swin Base |  CVI-SZU  |   94M   |     MIT License    |    1    |
  1. CVI-Szu
    • Код: Me-Graphau
    • Бумага: Luo et al. -Изучение многомерного графа Au-отношения на основе основных функций для распознавания единиц действий лица
    • ! Не работает с CUDA> 12.0

Абуждение на лице (VA) 

 |       model       |   source   |  params |   license   | version |
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ELIM AL AlexNet  | kdhht2334  |  2.3M   | MIT license |    1    |
  1. KDHHT2334
    • Код: elf
    • Бумага: Kim et al. -Оптимальное сопоставление идентичности на основе транспорта для инвариантного распознавания выражения лица идентичности личности

Обнаружение глубокого фарма (DeepFake) 

 |         model        |      source      |  params  |   license   | version |
| -------------------- | ---------------- | -------- | ----------- | ------- |
|    EfficientNet B7   |     selimsef     |   66.4M  | MIT license |    1    |
  1. selimsef
    • Код: dfdc_deepfake_challenge
    • Задача: Seferbekov - Deepfake Degence Challenge 1 -е место решение

Выравнивание лица (выравнивание) 

 |       model       |      source      |  params  |   license   | version |
| ----------------- | ---------------- | -------- | ----------- | ------- |
|    MobileNet v2   |     choyingw     |   4.1M   | MIT license |    1    |
  1. Чолин
    • Код: Synergynet
    • Задача: Wu et al. - Синергия между 3DMM и 3D достопримечательностями для точной 3D -геометрии лица
    • Примечание. Включите include_tensors , чтобы быть правдой, чтобы включить прогноз модели в прогноз.

Модель скачать

Модели автоматически загружаются во время выполнения в каталог моделей . Вы также можете загрузить модели вручную из общедоступной папки Google Drive.

Время исполнения

Image Test.jpg (4 лица) анализируется (включая рисование и достопримечательности, но не сохранение) примерно через 486 мс и тест . Можно отслеживать время выполнения в журналах, используя уровень отладки.

Подробный Test.jpg Время выполнения: 

 analyzer
    ├── reader: 27 ms
    ├── detector: 193 ms
    ├── unifier: 1 ms
    └── predictor
            ├── embed: 8 ms
            ├── verify: 58 ms
            ├── fer: 28 ms
            ├── au: 57 ms
            ├── va: 1 ms
            ├── deepfake: 117 ms
            └── align: 5 ms
    └── utilizer
            ├── align: 8 ms
            ├── draw_boxes: 22 ms
            ├── draw_landmarks: 7 ms
            └── save: 298 ms

Разработка

Запустите контейнер Docker:

  • ЦП: docker compose -f docker-compose.dev.yml run facetorch-dev
  • GPU: docker compose -f docker-compose.dev.yml run facetorch-dev-gpu

Добавить предиктора

Предварительные условия

  1. Файл модели TorchScript
  2. Идентификатор файла модели Google Drive
  3. Фасеторш Форк

Facetorch работает с моделями, которые были экспортированы от Pytorch в TorchScript. Вы можете применить функцию Torch.jit.trace для составления модели Pytorch в качестве модуля TorchScript. Пожалуйста, убедитесь, что вывод прослеженной модели равна выходу исходной модели.

Первые модели размещены в моей общедоступной папке Google Drive. Вы можете либо отправить новую модель для загрузки мне, разместить модель на своем Google Drive, либо провести ее где -то еще и добавить свой собственный объект загрузки в Codebase.

Конфигурация

Создать файл yaml
  1. Создайте новую папку с коротким именем задачи в каталоге конфигурации предиктора /conf/analyzer/predictor/ Следуя примеру FER в /conf/analyzer/predictor/fer/
  2. Скопируйте файл yaml /conf/analyzer/predictor/fer/efficientnet_b2_8.yaml в новую папку /conf/analyzer/predictor/<predictor_name>/
  3. Измените имя файла YAML на модель, которую вы хотите использовать: /conf/analyzer/predictor/<predictor_name>/<model_name>.yaml
Редактировать файл yaml
  1. Измените идентификатор файла Drive Google на идентификатор модели.
  2. Выберите препроцессор (или реализуйте новый, основанный на BasePredPreprocessor) и укажите его параметры, например, размер изображения и нормализацию в файле YAML, чтобы соответствовать требованиям новой модели.
  3. Выберите постпроцессор (или реализуйте новый, основанный на BasePredPostProcessor) и укажите его параметры, например, метки в файле YAML, чтобы соответствовать требованиям новой модели.
  4. (Необязательно) Добавьте производную BaseUtilizer, которая использует вывод вашей модели для выполнения некоторых дополнительных действий.
Настройка тестов
  1. Добавьте новый предиктор в основной файлы config.yaml и все файлы tests.config.n.yaml . В качестве альтернативы, создайте новый файл конфигурации, например, tests.config.n.yaml и добавьте его в файл /tests/conftest.py .
  2. Напишите тест для нового предиктора в /tests/test_<predictor_name>.py

Тестируйте и отправьте

  1. Запустить линейку: black facetorch
  2. Добавьте новый предиктор в таблицу моделей Readme.
  3. Обновление изменений и версии
  4. Отправить запрос на привлечение в репозиторий

Обновление среды

ПРОЦЕССОР:

  • Добавить пакеты с соответствующими версиями в файл environment.yml
  • Заблокируйте среду: conda lock -p linux-64 -f environment.yml --lockfile conda-lock.yml
  • (Альтернативный Docker) Заблокируйте среду: docker compose -f docker-compose.dev.yml run facetorch-lock
  • Установите заблокированную среду: conda-lock install --name env conda-lock.yml

Графический процессор:

  • Добавить пакеты с соответствующими версиями в файл gpu.environment.yml
  • Заблокируйте среду: conda lock -p linux-64 -f gpu.environment.yml --lockfile gpu.conda-lock.yml
  • (Альтернативный Docker). Заблокируйте среду: docker compose -f docker-compose.dev.yml run facetorch-lock-gpu
  • Установите заблокированную среду: conda-lock install --name env gpu.conda-lock.yml

Запустить тесты + покрытие

  • Запустить тесты и генерировать покрытие: pytest tests --verbose --cov-report html:coverage --cov facetorch

Генерировать документацию

  • Создать документацию из DocStrings с использованием PDOC3: pdoc --html facetorch --output-dir docs --force --template-dir pdoc/templates/

Профилирование

  1. Запустить профилирование примера скрипта: python -m cProfile -o profiling/example.prof scripts/example.py
  2. Открыть файл профилирования в браузере: snakeviz profiling/example.prof

Основные исследования, использующие аспект

Sharma et al. (2024)

Шарма, Паритош, Камилла Чалланд и Майкл Филхол. «Выражения лица для синтеза языка жестов с использованием Facshuman и Azee». Материалы 11-го семинара LREC-Coling 2024 года о представлении и обработке языков знаков , с. 354–360, 2024.

Liang et al. (2023)

Лян, Конг, Цзяхе Ван, Хаофан Чжан, Бинг Тан, Джуншан Хуанг, Шангфей Ван и Сяопинг Чен. «Unifarn: Unified Transformer для генерации реакции лица». Материалы 31 -й Международной конференции ACM по мультимедиа , с. 9506–9510, 2023.

Gue et al. (2023)

Гю, Цзя Сюань, Чун Йонг Чонг и Мей Куан Лим. «Распознавание выражения лица как маркеры депрессии». 2023 Азиатско -Тихоокеанская ассоциация по обработке информации Годовой саммит и конференция (APSIPA ASC) , с. 674–680, 2023.

Благодарности

Я хотел бы поблагодарить сообщество с открытым исходным кодом и исследователей, которые поделились своей работой и опубликовали модели. Этот проект был бы невозможным без их вклада.

Цитируя

Если вы используете Facetorch в своей работе, пожалуйста, обязательно причитайте первоначальных авторов моделей, которые он использует. Кроме того, вы можете рассмотреть вопрос о ссылке на саму библиотеку Facetorch. Ниже приведен пример цитата для Facetorch: 

 @misc{facetorch,
    author = {Gajarsky, Tomas},
    title = {Facetorch: A Python Library for Analyzing Faces Using PyTorch},
    year = {2024},
    publisher = {GitHub},
    journal = {GitHub Repository},
    howpublished = {url{https://github.com/tomas-gajarsky/facetorch}}
}

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все