Beranda>Terkait pemrograman>Kode Sumber AI
Unduh

Memeluk Aplikasi Demo Face Space?

Demo Notebook Google Colab

Panduan Pengguna, Dokumentasi, Panduan Facetorch ChatGPT

Hub Docker (GPU)

Facetorch adalah perpustakaan Python yang dirancang untuk deteksi dan analisis wajah, memanfaatkan kekuatan jaringan saraf yang dalam. Tujuan utamanya adalah untuk membuat model analisis wajah open-source dari komunitas, mengoptimalkannya untuk kinerja tinggi menggunakan Torchscript, dan mengintegrasikannya ke dalam toolkit analisis wajah yang serbaguna. Perpustakaan menawarkan fitur utama berikut:

  1. Konfigurasi yang dapat disesuaikan: Mudah mengonfigurasi pengaturan Anda menggunakan Hydra dan kemampuan omegaconf yang kuat.

  2. Lingkungan yang dapat direproduksi: Pastikan reproduktifitas dengan alat-alat seperti conda-lock untuk manajemen ketergantungan dan buruh pelabuhan untuk kontainerisasi.

  3. Performa yang Dipercepat: Nikmati kinerja yang ditingkatkan pada CPU dan GPU dengan optimasi Torchscript.

  4. Extensibilitas Sederhana: Perluas pustaka dengan mengunggah file model Anda ke Google Drive dan menambahkan file YAML konfigurasi yang sesuai ke repositori.

FaceTorch menyediakan solusi yang efisien, dapat diskalakan, dan ramah pengguna untuk tugas analisis wajah, melayani pengembang dan peneliti yang mencari fleksibilitas dan kinerja.

Harap gunakan perpustakaan ini secara bertanggung jawab dan dengan hati -hati. Patuhi pedoman etika Komisi Eropa untuk AI yang dapat dipercaya untuk memastikan penggunaan etis dan adil. Perlu diingat bahwa model mungkin memiliki keterbatasan dan bias potensial, sehingga sangat penting untuk mengevaluasi output mereka secara kritis dan mempertimbangkan dampaknya.

Memasang

Pypi 

pip install facetorch

Conda 

conda install -c conda-forge facetorch

Penggunaan

Prasyarat

  • Buruh pelabuhan
  • Docker menyusun

Docker Compose menyediakan cara mudah untuk membangun lingkungan facetorch yang berfungsi dengan satu perintah.

Jalankan contoh Docker

  • CPU: docker compose run facetorch python ./scripts/example.py
  • GPU: docker compose run facetorch-gpu python ./scripts/example.py analyzer.device=cuda

Periksa data/output untuk gambar yang dihasilkan dengan kotak pembatas dan landmark 3D wajah.

(Apple Mac M1) Gunakan rosetta 2 emulator di Docker Desktop untuk menjalankan versi CPU.

Konfigurasikan

Proyek ini dikonfigurasi oleh file yang terletak di conf dengan file utama: conf/config.yaml . Seseorang dapat dengan mudah menambah atau menghapus modul dari konfigurasi.

Komponen

FaceAnalyzer adalah kelas utama Facetorch karena merupakan orkestra yang bertanggung jawab untuk menginisialisasi dan menjalankan komponen berikut:

  1. Pembaca - Membaca gambar dan mengembalikan objek Imagedata yang berisi gambar Tensor.
  2. Detektor - Pembungkus di sekitar jaringan saraf yang mendeteksi wajah.
  3. Pemersatu - Prosesor yang menyatukan ukuran semua wajah dan menormalkannya antara 0 dan 1.
  4. Dikt Prediktor - Set pembungkus di sekitar jaringan saraf yang dilatih untuk menganalisis fitur wajah.
  5. Dikt Utilizer - Set Wrappers di sekitar fungsi apa pun yang membutuhkan output dari jaringan saraf misalnya menggambar kotak pembatas atau landmark wajah.

Struktur 

 analyzer
    ├── reader
    ├── detector
    ├── unifier
    └── predictor
            ├── embed
            ├── verify
            ├── fer
            ├── au
            ├── va
            ├── deepfake
            └── align
    └── utilizer
            ├── align
            ├── draw
            └── save

Model

Detektor 

 |     model     |   source  |   params  |   license   | version |
| ------------- | --------- | --------- | ----------- | ------- |
|   RetinaFace  |  biubug6  |   27.3M   | MIT license |    1    |
  1. biubug6
    • Kode: pytorch_retinaface
    • Kertas: Deng et al. -RetinAface: Lokalisasi wajah multi-level tunggal di alam liar

Prediktor

Pembelajaran Representasi Wajah (Embed) 

 |       model       |   source   |  params |   license   | version |  
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ResNet-50 VGG 1M |  1adrianb  |  28.4M  | MIT license |    1    |
  1. 1Adrianb
    • Kode: Representasi-repervised-face
    • Kertas: Bulat et al. - Strategi dan set data pra-pelatihan untuk pembelajaran representasi wajah
    • Catatan: include_tensors harus benar untuk memasukkan prediksi model dalam prediksi.logits

Verifikasi wajah (verifikasi) 

 |       model      |   source    |  params  |      license       | version |  
| ---------------- | ----------- | -------- | ------------------ | ------- |
|    MagFace+UNPG  | Jung-Jun-Uk |   65.2M  | Apache License 2.0 |    1    |
|  AdaFaceR100W12M |  mk-minchul |    -     |     MIT License    |    2    |
  1. Jung-jun-UK
    • Kode: UNPG
    • Kertas: Jung et al. - Generasi pasangan negatif terpadu menuju ruang fitur yang diskriminatif dengan baik untuk pengenalan wajah
    • (Jauh = 0,01)
    • Catatan: include_tensors harus benar untuk memasukkan prediksi model dalam prediksi.logits
  2. MK-Minchul
    • Kode: Adaface
    • Kertas: Kim et al. - Adaface: margin adaptif kualitas untuk pengenalan wajah
    • <
    • <
    • <Lencana mewakili model yang dilatih pada dataset Webface 4M yang lebih kecil
    • Catatan: include_tensors harus benar untuk memasukkan prediksi model dalam prediksi.logits

Pengenalan ekspresi wajah (fer) 

 |       model       |      source    |  params  |       license      | version |  
| ----------------- | -------------- | -------- | ------------------ | ------- |
| EfficientNet B0 7 | HSE-asavchenko |    4M    | Apache License 2.0 |    1    |
| EfficientNet B2 8 | HSE-asavchenko |   7.7M   | Apache License 2.0 |    2    |
  1. HSE-Asavchenko
    • Kode: Pengenalan Face-Emotion
    • Kertas: Savchenko - Ekspresi wajah dan pengakuan atribut berdasarkan pembelajaran multi -tugas dari jaringan saraf yang ringan
    • B2
    • B0
    • B0

Deteksi Unit Aksi Wajah (AU) 

 |        model        |   source  |  params |       license      | version |  
| ------------------- | --------- | ------- | ------------------ | ------- |
| OpenGraph Swin Base |  CVI-SZU  |   94M   |     MIT License    |    1    |
  1. CVI-SZU
    • Kode: Me-Graphau
    • Kertas: Luo et al. -Belajar grafik relasi AU berbasis fitur tepi multi-dimensi untuk pengenalan unit aksi wajah
    • Lai Tidak bekerja dengan cuda> 12.0

Facial Valence Gairal (VA) 

 |       model       |   source   |  params |   license   | version |
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ELIM AL AlexNet  | kdhht2334  |  2.3M   | MIT license |    1    |
  1. KDHHT2334
    • Kode: Elim
    • Kertas: Kim et al. -Pencocokan identitas berbasis transportasi yang optimal untuk pengakuan ekspresi wajah-invarian-invarian

Deepfake Detection (Deepfake) 

 |         model        |      source      |  params  |   license   | version |
| -------------------- | ---------------- | -------- | ----------- | ------- |
|    EfficientNet B7   |     selimsef     |   66.4M  | MIT license |    1    |
  1. selimsef
    • Kode: dfdc_deepfake_challenge
    • Tantangan: Seferbekov - Deepfake Detection Challenge Solusi Tempat Pertama

Face Alignment (Align) 

 |       model       |      source      |  params  |   license   | version |
| ----------------- | ---------------- | -------- | ----------- | ------- |
|    MobileNet v2   |     choyingw     |   4.1M   | MIT license |    1    |
  1. Choyingw
    • Kode: SynergyNet
    • Tantangan: Wu et al. - Sinergi antara landmark 3DMM dan 3D untuk geometri wajah 3D yang akurat
    • Catatan: include_tensors harus benar untuk memasukkan prediksi model dalam prediksi.logits

Download model

Model diunduh selama runtime secara otomatis ke direktori model . Anda juga dapat mengunduh model secara manual dari folder Google Drive publik.

Waktu pelaksanaan

Tes gambar.jpg (4 wajah) dianalisis (termasuk kotak gambar dan landmark, tetapi tidak menabung) dalam sekitar 486ms dan test3.jpg (25 wajah) dalam sekitar 1845ms (Batch_Size = 8) pada NVIDIA TESLA T4 GPU setelah konfigurasi default ( conf/config.yamin ) dari Models. Seseorang dapat memantau waktu eksekusi dalam log menggunakan level debug.

Tes terperinci.jpg waktu eksekusi: 

 analyzer
    ├── reader: 27 ms
    ├── detector: 193 ms
    ├── unifier: 1 ms
    └── predictor
            ├── embed: 8 ms
            ├── verify: 58 ms
            ├── fer: 28 ms
            ├── au: 57 ms
            ├── va: 1 ms
            ├── deepfake: 117 ms
            └── align: 5 ms
    └── utilizer
            ├── align: 8 ms
            ├── draw_boxes: 22 ms
            ├── draw_landmarks: 7 ms
            └── save: 298 ms

Perkembangan

Jalankan wadah Docker:

  • CPU: docker compose -f docker-compose.dev.yml run facetorch-dev
  • GPU: docker compose -f docker-compose.dev.yml run facetorch-dev-gpu

Tambahkan prediktor

Prasyarat

  1. file model Torchscript
  2. ID dari file model Google Drive
  3. FORK FACETORCH

FaceTorch bekerja dengan model yang diekspor dari Pytorch ke Torchscript. Anda dapat menerapkan fungsi torch.jit.trace untuk mengkompilasi model Pytorch sebagai modul Torchscript. Harap verifikasi bahwa output dari model yang dilacak sama dengan output dari model asli.

Model pertama di -host di folder Google Drive publik saya. Anda dapat mengirim model baru untuk diunggah kepada saya, meng -host model di Google Drive Anda atau meng -hostnya di tempat lain dan menambahkan objek pengunduh Anda sendiri ke basis kode.

Konfigurasi

Buat file YAML
  1. Buat folder baru dengan nama pendek tugas dalam direktori konfigurasi prediktor /conf/analyzer/predictor/ mengikuti contoh fer di /conf/analyzer/predictor/fer/
  2. Salin file yaml /conf/analyzer/predictor/fer/efficientnet_b2_8.yaml ke folder baru /conf/analyzer/predictor/<predictor_name>/
  3. Ubah nama file YAML ke model yang ingin Anda gunakan: /conf/analyzer/predictor/<predictor_name>/<model_name>.yaml
Edit file YAML
  1. Ubah ID File Google Drive ke ID model.
  2. Pilih preprocessor (atau implementasikan yang baru berdasarkan prepreprosesor) dan tentukan parameternya misalnya ukuran gambar dan normalisasi dalam file YAML agar sesuai dengan persyaratan model baru.
  3. Pilih postprocessor (atau implementasikan yang baru berdasarkan BasepredPostProcessor) dan tentukan parameternya misalnya label dalam file YAML agar sesuai dengan persyaratan model baru.
  4. (Opsional) Tambahkan turunan baseutilizer yang menggunakan output model Anda untuk melakukan beberapa tindakan tambahan.
Konfigurasikan tes
  1. Tambahkan prediktor baru ke file config.yaml utama dan semua tests.config.n.yaml . Atau, buat file konfigurasi baru misalnya tests.config.n.yaml dan tambahkan ke file /tests/conftest.py .
  2. Tulis tes untuk prediktor baru di /tests/test_<predictor_name>.py

Uji dan Kirim

  1. Jalankan serat: black facetorch
  2. Tambahkan prediktor baru ke tabel model ReadMe.
  3. Perbarui Changelog dan Versi
  4. Mengirimkan permintaan tarik ke repositori

Perbarui lingkungan

CPU:

  • Tambahkan paket dengan versi yang sesuai ke file environment.yml
  • Kunci Lingkungan: conda lock -p linux-64 -f environment.yml --lockfile conda-lock.yml
  • (Docker Alternatif) Kunci Lingkungan: docker compose -f docker-compose.dev.yml run facetorch-lock
  • Pasang lingkungan terkunci: conda-lock install --name env conda-lock.yml

GPU:

  • Tambahkan paket dengan versi yang sesuai ke file gpu.environment.yml
  • Kunci Lingkungan: conda lock -p linux-64 -f gpu.environment.yml --lockfile gpu.conda-lock.yml
  • (Docker Alternatif) Kunci Lingkungan: docker compose -f docker-compose.dev.yml run facetorch-lock-gpu
  • Instal Lingkungan Terkunci: conda-lock install --name env gpu.conda-lock.yml

Jalankan tes + cakupan

  • Jalankan Tes dan Hasilkan Cakupan: pytest tests --verbose --cov-report html:coverage --cov facetorch

Menghasilkan dokumentasi

  • Menghasilkan dokumentasi dari docstring menggunakan pDoc3: pdoc --html facetorch --output-dir docs --force --template-dir pdoc/templates/

Profil

  1. Jalankan profil dari contoh skrip: python -m cProfile -o profiling/example.prof scripts/example.py
  2. Buka file profil di browser: snakeviz profiling/example.prof

Sorotan Penelitian Memanfaatkan Facetorch

Sharma et al. (2024)

Sharma, Paritosh, Camille Challant, dan Michael Filhol. "Ekspresi Wajah untuk Sintesis Bahasa Isyarat Menggunakan Facshuman dan Azee." Prosiding LREC-COLING 2024 Lokakarya ke-11 tentang Representasi dan Pemrosesan Bahasa Isyarat , hlm. 354-360, 2024.

Liang et al. (2023)

Liang, Cong, Jiehe Wang, Haofan Zhang, Bing Tang, Junshan Huang, Shangfei Wang, dan Xiaoping Chen. "Unifarn: Transformator Unified untuk Generasi Reaksi Wajah." Prosiding Konferensi Internasional ACM ke -31 tentang Multimedia , hlm. 9506–9510, 2023.

Gue et al. (2023)

Gue, Jia Xuan, Chun Yong Chong, dan Mei Kuan Lim. "Pengenalan Ekspresi Wajah sebagai Penanda Depresi." 2023 Asia Pasifik Sinyal dan Informasi Pemrosesan Asosiasi dan Konferensi Tahunan (APSIPA ASC) , hlm. 674-680, 2023.

Ucapan Terima Kasih

Saya ingin mengucapkan terima kasih kepada komunitas open-source dan para peneliti yang telah berbagi karya mereka dan menerbitkan model. Proyek ini tidak akan mungkin terjadi tanpa kontribusi mereka.

Mengutip

Jika Anda menggunakan Facetorch dalam pekerjaan Anda, pastikan untuk mengkredit secara tepat penulis asli model yang digunakannya. Selain itu, Anda dapat mempertimbangkan mengutip Perpustakaan FaceTorch itu sendiri. Di bawah ini adalah contoh kutipan untuk facetorch: 

 @misc{facetorch,
    author = {Gajarsky, Tomas},
    title = {Facetorch: A Python Library for Analyzing Faces Using PyTorch},
    year = {2024},
    publisher = {GitHub},
    journal = {GitHub Repository},
    howpublished = {url{https://github.com/tomas-gajarsky/facetorch}}
}

Memperluas
Informasi Tambahan
Aplikasi Terkait
Direkomendasikan untuk Anda
Informasi Terkait Semua