facetorch

กอดแอพสาธิตพื้นที่หน้า?

การสาธิตโน๊ตบุ๊ค Google Colab

คู่มือผู้ใช้, เอกสาร, คู่มือ facetorch Chatgpt

Docker Hub (GPU)

FaceTorch เป็นห้องสมุด Python ที่ออกแบบมาสำหรับการตรวจจับและวิเคราะห์ใบหน้าใช้ประโยชน์จากพลังของเครือข่ายประสาทลึก เป้าหมายหลักของมันคือการดูแลรูปแบบการวิเคราะห์ใบหน้าโอเพ่นซอร์สจากชุมชนเพิ่มประสิทธิภาพให้เหมาะกับประสิทธิภาพสูงโดยใช้ Torchscript และรวมเข้ากับชุดเครื่องมือวิเคราะห์ใบหน้าที่หลากหลาย ห้องสมุดมีคุณสมบัติสำคัญต่อไปนี้:

1. การกำหนดค่าที่ปรับแต่งได้: กำหนดค่าการตั้งค่าของคุณได้อย่างง่ายดายโดยใช้ไฮดราและความสามารถของโอเมก้าคอนที่ทรงพลัง

2. สภาพแวดล้อมที่ทำซ้ำได้: ตรวจสอบให้แน่ใจว่ามีการทำซ้ำด้วยเครื่องมือเช่น conda-lock สำหรับการจัดการการพึ่งพาและนักเทียบท่าสำหรับการจัดคอนเทนเนอร์

3. ประสิทธิภาพเร่งความเร็ว: เพลิดเพลินไปกับประสิทธิภาพที่เพิ่มขึ้นทั้ง CPU และ GPU ด้วยการเพิ่มประสิทธิภาพ Torchscript

4. Simple Extensibility: ขยายไลบรารีโดยการอัปโหลดไฟล์โมเดลของคุณไปยัง Google Drive และเพิ่มไฟล์ YAML การกำหนดค่าที่สอดคล้องกันไปยังที่เก็บ

Facetorch นำเสนอโซลูชันที่มีประสิทธิภาพปรับขนาดได้และเป็นมิตรกับผู้ใช้สำหรับงานการวิเคราะห์ใบหน้าจัดเลี้ยงให้กับนักพัฒนาและนักวิจัยที่กำลังมองหาความยืดหยุ่นและประสิทธิภาพ

โปรดใช้ห้องสมุดนี้อย่างรับผิดชอบและระมัดระวัง ปฏิบัติตามแนวทางจริยธรรมของคณะกรรมาธิการยุโรปสำหรับ AI ที่น่าเชื่อถือเพื่อให้แน่ใจว่ามีการใช้จริยธรรมและเป็นธรรม โปรดทราบว่าแบบจำลองอาจมีข้อ จำกัด และอคติที่อาจเกิดขึ้นดังนั้นจึงเป็นสิ่งสำคัญในการประเมินผลลัพธ์ของพวกเขาอย่างยิ่งและพิจารณาผลกระทบของพวกเขา

ติดตั้ง

Pypi

pip install facetorch

คอนดา

conda install -c conda-forge facetorch

การใช้งาน

ข้อกำหนดเบื้องต้น

• นักเทียบท่า
• นักเทียบท่า

Docker Compose เป็นวิธีที่ง่ายในการสร้างสภาพแวดล้อม facetorch ที่ใช้งานได้ด้วยคำสั่งเดียว

เรียกใช้ตัวอย่าง Docker

• CPU: docker compose run facetorch python ./scripts/example.py
• GPU: docker compose run facetorch-gpu python ./scripts/example.py analyzer.device=cuda

ตรวจสอบ ข้อมูล/เอาท์พุท สำหรับภาพที่เกิดขึ้นพร้อมกล่องที่มีขอบเขตและสถานที่สำคัญ 3D ใบหน้า

(Apple Mac M1) ใช้ Rosetta 2 Emulator ใน Docker Desktop เพื่อเรียกใช้ CPU เวอร์ชัน

กำหนดค่า

โครงการได้รับการกำหนดค่าโดยไฟล์ที่อยู่ใน Conf ด้วยไฟล์หลัก: conf/config.yaml หนึ่งสามารถเพิ่มหรือลบโมดูลออกจากการกำหนดค่าได้อย่างง่ายดาย

ส่วนประกอบ

faceanalyzer เป็นคลาสหลักของ facetorch เนื่องจากเป็น orchestrator ที่รับผิดชอบในการเริ่มต้นและเรียกใช้ส่วนประกอบต่อไปนี้:

1. Reader - อ่านภาพและส่งคืนวัตถุที่มีภาพที่มีเทนเซอร์ภาพ
2. Detector - Wrapper รอบเครือข่ายประสาทที่ตรวจพบใบหน้า
3. Unifier - โปรเซสเซอร์ที่รวมขนาดของใบหน้าทั้งหมดและทำให้เป็นปกติระหว่าง 0 ถึง 1
4. Predictor dict - ชุดของ wrappers รอบเครือข่ายประสาทที่ได้รับการฝึกฝนเพื่อวิเคราะห์คุณสมบัติใบหน้า
5. Utilizer Dict - ชุดของ wrappers รอบฟังก์ชั่นใด ๆ ที่ต้องใช้ผลลัพธ์ของเครือข่ายประสาทเช่นการวาดกล่องขอบเขตหรือสถานที่สำคัญใบหน้า

โครงสร้าง

 analyzer
    ├── reader
    ├── detector
    ├── unifier
    └── predictor
            ├── embed
            ├── verify
            ├── fer
            ├── au
            ├── va
            ├── deepfake
            └── align
    └── utilizer
            ├── align
            ├── draw
            └── save

แบบจำลอง

เครื่องตรวจจับ

 |     model     |   source  |   params  |   license   | version |
| ------------- | --------- | --------- | ----------- | ------- |
|   RetinaFace  |  biubug6  |   27.3M   | MIT license |    1    |

1. biubug6
   • รหัส: pytorch_retinaface
   • กระดาษ: เติ้งและคณะ -retinaface: การแปลใบหน้าหลายระดับ-นัดเดียวในป่า

ผู้ทำนาย

การเรียนรู้การเป็นตัวแทนใบหน้า (EMBED)

 |       model       |   source   |  params |   license   | version |  
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ResNet-50 VGG 1M |  1adrianb  |  28.4M  | MIT license |    1    |

1. 1Adrianb
   • รหัส: การเป็นตัวแทนที่ไม่ได้รับการดูแล
   • กระดาษ: Bulat et al. - กลยุทธ์การฝึกอบรมล่วงหน้าและชุดข้อมูลสำหรับการเรียนรู้การเป็นตัวแทนใบหน้า
   • หมายเหตุ: include_tensors จะต้องเป็นจริงเพื่อรวมการทำนายแบบจำลองในการทำนาย logits

การตรวจสอบใบหน้า (ตรวจสอบ)

 |       model      |   source    |  params  |      license       | version |  
| ---------------- | ----------- | -------- | ------------------ | ------- |
|    MagFace+UNPG  | Jung-Jun-Uk |   65.2M  | Apache License 2.0 |    1    |
|  AdaFaceR100W12M |  mk-minchul |    -     |     MIT License    |    2    |

1. Jung-Jun-uk
   • รหัส: UNPG
   • กระดาษ: จองและคณะ - การสร้างคู่ลบแบบครบวงจรไปสู่พื้นที่คุณลักษณะที่ไม่เลือกปฏิบัติสำหรับการจดจำใบหน้า
   • (ไกล = 0.01)
   • หมายเหตุ: include_tensors จะต้องเป็นจริงเพื่อรวมการทำนายแบบจำลองในการทำนาย logits
2. Mk-Minchul
   • รหัส: Adaface
   • กระดาษ: Kim et al. - Adaface: มีอัตราการปรับตัวที่มีคุณภาพสำหรับการจดจำใบหน้า
   • -
   • -
   • <ป้ายแสดงรุ่นที่ผ่านการฝึกอบรมในชุดข้อมูล Webface 4M ขนาดเล็กกว่า
   • หมายเหตุ: include_tensors จะต้องเป็นจริงเพื่อรวมการทำนายแบบจำลองในการทำนาย logits

การรับรู้การแสดงออกทางสีหน้า (FER)

 |       model       |      source    |  params  |       license      | version |  
| ----------------- | -------------- | -------- | ------------------ | ------- |
| EfficientNet B0 7 | HSE-asavchenko |    4M    | Apache License 2.0 |    1    |
| EfficientNet B2 8 | HSE-asavchenko |   7.7M   | Apache License 2.0 |    2    |

1. hse-asavchenko
   • รหัส: การจดจำใบหน้าแบบใบหน้า
   • กระดาษ: Savchenko - การแสดงออกทางสีหน้าและการจดจำคุณสมบัติตามการเรียนรู้หลายงานของเครือข่ายประสาทที่มีน้ำหนักเบา
   • B2
   • B0
   • B0

การตรวจจับหน่วยปฏิบัติการบนใบหน้า (AU)

 |        model        |   source  |  params |       license      | version |  
| ------------------- | --------- | ------- | ------------------ | ------- |
| OpenGraph Swin Base |  CVI-SZU  |   94M   |     MIT License    |    1    |

1. CVI-szu
   • รหัส: me-graphau
   • กระดาษ: Luo et al. -การเรียนรู้กราฟความสัมพันธ์แบบอิง AU ที่ใช้คุณสมบัติหลายมิติสำหรับการจดจำหน่วยการกระทำใบหน้า
   • - ไม่ทำงานกับ cuda> 12.0

ใบหน้า Valence Arousal (VA)

 |       model       |   source   |  params |   license   | version |
| ----------------- | ---------- | ------- | ----------- | ------- |
|  ELIM AL AlexNet  | kdhht2334  |  2.3M   | MIT license |    1    |

1. KDHHT2334
   • รหัส: Elim
   • กระดาษ: Kim et al. -การจับคู่ข้อมูลประจำตัวที่ใช้การขนส่งที่ดีที่สุดสำหรับการรับรู้การแสดงออกทางสีหน้าที่ไม่แปรปรวน

การตรวจจับ Deepfake (Deepfake)

 |         model        |      source      |  params  |   license   | version |
| -------------------- | ---------------- | -------- | ----------- | ------- |
|    EfficientNet B7   |     selimsef     |   66.4M  | MIT license |    1    |

1. selimsef
   • รหัส: dfdc_deepfake_challenge
   • ความท้าทาย: Seferbekov - Deepfake Detection Challenge Solutionst Place Solution

การจัดแนวหน้า (จัดตำแหน่ง)

 |       model       |      source      |  params  |   license   | version |
| ----------------- | ---------------- | -------- | ----------- | ------- |
|    MobileNet v2   |     choyingw     |   4.1M   | MIT license |    1    |

1. choyingw
   • รหัส: synergynet
   • ความท้าทาย: Wu et al. - การทำงานร่วมกันระหว่างจุดสังเกต 3DMM และ 3D สำหรับเรขาคณิตใบหน้า 3 มิติที่แม่นยำ
   • หมายเหตุ: include_tensors จะต้องเป็นจริงเพื่อรวมการทำนายแบบจำลองในการทำนาย logits

ดาวน์โหลดรุ่น

โมเดลจะถูกดาวน์โหลดระหว่างรันไทม์โดยอัตโนมัติไปยังไดเรกทอรี โมเดล นอกจากนี้คุณยังสามารถดาวน์โหลดโมเดลด้วยตนเองได้จากโฟลเดอร์ Google Drive สาธารณะ

เวลาดำเนินการ

การทดสอบรูปภาพ jpg (4 ใบหน้า) ถูกวิเคราะห์ (รวมถึงกล่องวาดภาพและสถานที่สำคัญ แต่ไม่ประหยัด) ในประมาณ 486ms และ test3.jpg ( 25 ใบหน้า) ในประมาณ 1845ms (batch_size = 8) บน nvidia tesla t4 gpu เมื่อค่าเริ่มต้นเริ่มต้น หนึ่งสามารถตรวจสอบเวลาดำเนินการในบันทึกโดยใช้ระดับการดีบัก

รายละเอียดการทดสอบ. jpg เวลาดำเนินการ:

 analyzer
    ├── reader: 27 ms
    ├── detector: 193 ms
    ├── unifier: 1 ms
    └── predictor
            ├── embed: 8 ms
            ├── verify: 58 ms
            ├── fer: 28 ms
            ├── au: 57 ms
            ├── va: 1 ms
            ├── deepfake: 117 ms
            └── align: 5 ms
    └── utilizer
            ├── align: 8 ms
            ├── draw_boxes: 22 ms
            ├── draw_landmarks: 7 ms
            └── save: 298 ms

การพัฒนา

เรียกใช้คอนเทนเนอร์ Docker:

• CPU: docker compose -f docker-compose.dev.yml run facetorch-dev
• GPU: docker compose -f docker-compose.dev.yml run facetorch-dev-gpu

เพิ่มตัวทำนาย

ข้อกำหนดเบื้องต้น

1. ไฟล์ของรุ่น Torchscript
2. id ของไฟล์โมเดล Google ไดรฟ์
3. Facetorch Fork

Facetorch ทำงานร่วมกับแบบจำลองที่ส่งออกจาก Pytorch ไปยัง Torchscript คุณสามารถใช้ฟังก์ชั่น Torch.jit.trace เพื่อรวบรวมโมเดล Pytorch เป็นโมดูล Torchscript โปรดตรวจสอบว่าเอาต์พุตของโมเดลที่ถูกติดตามเท่ากับเอาต์พุตของโมเดลดั้งเดิม

รุ่นแรกถูกโฮสต์ในโฟลเดอร์ Google Drive สาธารณะของฉัน คุณสามารถส่งโมเดลใหม่เพื่ออัปโหลดให้ฉันโฮสต์รุ่นบน Google ไดรฟ์ของคุณหรือโฮสต์ที่อื่นและเพิ่มวัตถุดาวน์โหลดของคุณเองลงใน codebase

การกำหนดค่า

สร้างไฟล์ yaml

1. สร้างโฟลเดอร์ใหม่ที่มีชื่อสั้น ๆ ของงานในไดเรกทอรีการกำหนดค่าตัวทำนาย /conf/analyzer/predictor/ ติดตามตัวอย่าง FER ใน /conf/analyzer/predictor/fer/
2. คัดลอกไฟล์ yaml /conf/analyzer/predictor/fer/efficientnet_b2_8.yaml ไปยังโฟลเดอร์ใหม่ /conf/analyzer/predictor/<predictor_name>/
3. เปลี่ยนชื่อไฟล์ yaml เป็นรุ่นที่คุณต้องการใช้: /conf/analyzer/predictor/<predictor_name>/<model_name>.yaml

แก้ไขไฟล์ yaml

1. เปลี่ยนรหัสไฟล์ Google ไดรฟ์เป็น ID ของรุ่น
2. เลือกตัวประมวลผลล่วงหน้า (หรือใช้งานใหม่ตาม basepredPreprocessor) และระบุพารามิเตอร์ของมันเช่นขนาดภาพและการทำให้เป็นมาตรฐานในไฟล์ YAML เพื่อให้ตรงกับข้อกำหนดของรุ่นใหม่
3. เลือก postprocessor (หรือใช้งานใหม่ตาม basepredPostProcessor) และระบุพารามิเตอร์ของมันเช่นฉลากในไฟล์ YAML เพื่อให้ตรงกับข้อกำหนดของรุ่นใหม่
4. (ไม่บังคับ) เพิ่มอนุพันธ์ BaseUtilizer ที่ใช้เอาต์พุตของโมเดลของคุณเพื่อดำเนินการเพิ่มเติมบางอย่าง

กำหนดค่าการทดสอบ

1. เพิ่มตัวทำนายใหม่ลงในไฟล์ main config.yaml และ การทดสอบ ทั้งหมด config.n.yaml อีกวิธีหนึ่งคือสร้างไฟล์กำหนดค่าใหม่เช่น การทดสอบ config.n.yaml และเพิ่มลงในไฟล์ /tests/conftest.py
2. เขียนการทดสอบสำหรับตัวทำนายใหม่ใน /tests/test_<predictor_name>.py <predictor_name>.py

ทดสอบและส่ง

1. Run Clinting: black facetorch
2. เพิ่มตัวทำนายใหม่ลงในตารางโมเดล README
3. อัปเดต Changelog และเวอร์ชัน
4. ส่งคำขอดึงไปยังที่เก็บข้อมูล

ปรับปรุงสภาพแวดล้อม

CPU:

• เพิ่มแพ็คเกจด้วยเวอร์ชันที่สอดคล้องกันในไฟล์ environment.yml
• ล็อคสิ่งแวดล้อม: conda lock -p linux-64 -f environment.yml --lockfile conda-lock.yml
• (Docker ทางเลือก) ล็อคสิ่งแวดล้อม: docker compose -f docker-compose.dev.yml run facetorch-lock
• ติดตั้งสภาพแวดล้อมที่ล็อค: conda-lock install --name env conda-lock.yml

GPU:

• เพิ่มแพ็คเกจด้วยเวอร์ชันที่สอดคล้องกันในไฟล์ gpu.environment.yml
• ล็อคสิ่งแวดล้อม: conda lock -p linux-64 -f gpu.environment.yml --lockfile gpu.conda-lock.yml
• (Docker ทางเลือก) ล็อคสิ่งแวดล้อม: docker compose -f docker-compose.dev.yml run facetorch-lock-gpu
• ติดตั้งสภาพแวดล้อมที่ล็อค: conda-lock install --name env gpu.conda-lock.yml

เรียกใช้การทดสอบ + ความครอบคลุม

• เรียกใช้การทดสอบและสร้างความครอบคลุม: pytest tests --verbose --cov-report html:coverage --cov facetorch

สร้างเอกสาร

• สร้างเอกสารจาก docStrings โดยใช้ PDOC3: pdoc --html facetorch --output-dir docs --force --template-dir pdoc/templates/

การทำโปรไฟล์

1. เรียกใช้การทำโปรไฟล์ของสคริปต์ตัวอย่าง: python -m cProfile -o profiling/example.prof scripts/example.py
2. เปิดไฟล์การทำโปรไฟล์ในเบราว์เซอร์: snakeviz profiling/example.prof

ไฮไลท์การวิจัยใช้ประโยชน์จากด้าน

Sharma และคณะ (2024)

Sharma, Paritosh, Camille Challant และ Michael Filhol "การแสดงออกทางสีหน้าสำหรับการสังเคราะห์ภาษามือโดยใช้ facshuman และ azee" การดำเนินการของการประชุมเชิงปฏิบัติการ LREC-Coling 2024 ครั้งที่ 11 เกี่ยวกับการเป็นตัวแทนและการประมวลผลภาษาลายเซ็น , หน้า 354–360, 2024

Liang และคณะ (2023)

Liang, Cong, Jiahe Wang, Haofan Zhang, Bing Tang, Junshan Huang, Shangfei Wang และ Xiaoping Chen "Unifarn: Unified Transformer สำหรับการสร้างปฏิกิริยาใบหน้า" การประชุมวิชาการนานาชาติ ACM ครั้งที่ 31 เกี่ยวกับมัลติมีเดีย , หน้า 9506–9510, 2023

Gue และคณะ (2023)

Gue, Jia Xuan, Chun Yong Chong และ Mei Kuan Lim "การรับรู้การแสดงออกทางสีหน้าเป็นเครื่องหมายของภาวะซึมเศร้า" 2023 Asia Pacific Signal และสมาคมการประมวลผลข้อมูลการประชุมสุดยอดประจำปีและการประชุม (APSIPA ASC) , หน้า 674–680, 2023

กิตติกรรมประกาศ

ฉันขอขอบคุณชุมชนโอเพ่นซอร์สและนักวิจัยที่แบ่งปันผลงานและรูปแบบที่ตีพิมพ์ โครงการนี้จะเป็นไปไม่ได้หากไม่มีการบริจาค

การอ้าง

หากคุณใช้ FaceTorch ในงานของคุณโปรดตรวจสอบให้แน่ใจว่าให้เครดิตผู้เขียนดั้งเดิมของรุ่นที่ใช้อย่างเหมาะสม นอกจากนี้คุณอาจพิจารณาอ้างถึงห้องสมุด facetorch ด้วยตัวเอง ด้านล่างเป็นตัวอย่างการอ้างอิงสำหรับ facetorch:

 @misc{facetorch,
    author = {Gajarsky, Tomas},
    title = {Facetorch: A Python Library for Analyzing Faces Using PyTorch},
    year = {2024},
    publisher = {GitHub},
    journal = {GitHub Repository},
    howpublished = {url{https://github.com/tomas-gajarsky/facetorch}}
}

ขยาย