หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

VGGHEADS: ชุดข้อมูลสังเคราะห์ขนาดใหญ่สำหรับหัวมนุษย์ 3D

OREST KUPYN 13 · Eugene Khvedchenia 2 · Christian Rupprecht 1 ·

1 มหาวิทยาลัยอ๊อกซฟอร์ด· 2 มหาวิทยาลัยคาทอลิกยูเครน· 3 piñatafarms ai

VGGHEADS เป็นชุดข้อมูลสังเคราะห์ขนาดใหญ่สำหรับการตรวจจับศีรษะของมนุษย์และการประมาณตาข่าย 3 มิติที่มีภาพมากกว่า 1 ล้านภาพที่สร้างขึ้นด้วยแบบจำลองการแพร่กระจาย แบบจำลองที่ได้รับการฝึกฝนเกี่ยวกับข้อมูลสังเคราะห์ทั่วไปได้ดีไปสู่โลกแห่งความเป็นจริงและมีความสามารถในการตรวจจับหัวพร้อมกันและการสร้างหัวตาข่ายใหม่จากภาพเดียวในขั้นตอนเดียว

แบนเนอร์

ข่าว

  • [2024/08/30] รุ่น 0.1.0 เพิ่มตัวอย่างของการจัดตำแหน่งหัวและการบันทึกตาข่ายเป็น. obj
  • [2024/08/29] เราปล่อยชุดข้อมูลคำแนะนำการฝึกอบรมและน้ำหนัก onnx !!
  • [2024/08/09] เราปล่อยจุดตรวจสอบ vggheads_l และ mesh controlnet
  • [2024/07/26] เราปล่อยรุ่นเริ่มต้นของ Codebase, The Paper, Project Project และการสาธิตรูปภาพ !!

คำแนะนำการดาวน์โหลดชุดข้อมูล vggheads

1. ดาวน์โหลดชุดข้อมูล

ในการดาวน์โหลดชุดข้อมูล VGGHEADS คุณมีสองตัวเลือก:

  1. ดาวน์โหลด Torrent (วิธีที่ต้องการ): วิธีการดาวน์โหลด 
pip install academictorrents
at-get 1ac36f16386061685ed303dea6f0d6179d2e2121

หรือใช้ aria2c 

aria2c --seed-time=0 --max-overall-download-limit=10M --file-allocation=none https://academictorrents.com/download/1ac36f16386061685ed303dea6f0d6179d2e2121.torrent

ลิงค์ Torrent เต็มรูปแบบ

เราขอแนะนำให้ใช้วิธี Torrent เนื่องจากโดยทั่วไปแล้วจะเร็วขึ้นและช่วยลดการโหลดบนเซิร์ฟเวอร์ของเรา

  1. ดาวน์โหลดโดยตรง: 
wget https://thor.robots.ox.ac.uk/vgg-heads/VGGHeads.tar

สิ่งนี้จะดาวน์โหลดไฟล์ชื่อ VGGHeads.tar ไปยังไดเรกทอรีปัจจุบันของคุณ

2. ดาวน์โหลด MD5 Checksums

ในการตรวจสอบความสมบูรณ์ของไฟล์ที่ดาวน์โหลดเราจะต้องตรวจสอบ MD5 ดาวน์โหลดโดยใช้: 

wget https://thor.robots.ox.ac.uk/vgg-heads/MD5SUMS

3. ยืนยันการดาวน์โหลด

หลังจากดาวน์โหลดไฟล์ทั้งสองแล้วให้ตรวจสอบความสมบูรณ์ของไฟล์ VGGHeads.tar : 

md5sum -c MD5SUMS

หากการดาวน์โหลดสำเร็จและไฟล์ยังคงอยู่คุณควรเห็นข้อความ "ตกลง"

4. แยกชุดข้อมูล

หากการตรวจสอบประสบความสำเร็จให้แยกเนื้อหาของไฟล์ tar: 

tar -xvf VGGHeads.tar

สิ่งนี้จะแยกเนื้อหาของเก็บถาวรลงในไดเรกทอรีปัจจุบันของคุณ

หมายเหตุ:

  • ขนาดของชุดข้อมูลอยู่ที่ประมาณ 187 GB ตรวจสอบให้แน่ใจว่าคุณมีพื้นที่ดิสก์เพียงพอก่อนที่จะดาวน์โหลดและสกัด
  • กระบวนการดาวน์โหลดและสกัดอาจใช้เวลาพอสมควรขึ้นอยู่กับการเชื่อมต่ออินเทอร์เน็ตและความเร็วคอมพิวเตอร์ของคุณ
  • หากคุณพบปัญหาใด ๆ ในระหว่างการดาวน์โหลดหรือการสกัดลองดาวน์โหลดอีกครั้งหรือตรวจสอบยูทิลิตี้ TAR ของระบบของคุณ

การติดตั้ง

สร้างสภาพแวดล้อมเสมือน Conda 

conda create --name vgg_heads python=3.10
conda activate vgg_heads

โคลนโครงการและติดตั้งแพ็คเกจ 

git clone https://github.com/KupynOrest/head_detector.git
cd head_detector

pip install -e ./

หรือเพียงแค่ติดตั้ง 

pip install git+https://github.com/KupynOrest/head_detector.git

การใช้งาน

ในการทดสอบรูปแบบ vggheads บนภาพของคุณเองเพียงแค่ใช้รหัสนี้: 

 from head_detector import HeadDetector
import cv2
detector = HeadDetector ()
image_path = "your_image.jpg"
predictions = detector ( image_path )
# predictions.heads contain a list of heads with .bbox, .vertices_3d, .head_pose params
result_image = predictions . draw () # draw heads on the image
cv2 . imwrite ( "result.png" , result_image ) # save result image to preview it.

การส่งออกหัวตาข่าย

คุณสามารถส่งออกตาข่ายหัวเป็นไฟล์ OBJ โดยใช้วิธี save_meshes : 

 # After getting predictions
save_folder = "path/to/save/folder"
predictions . save_meshes ( save_folder )

สิ่งนี้จะบันทึกไฟล์ OBJ แต่ละตัวสำหรับแต่ละหัวที่ตรวจพบในโฟลเดอร์ที่ระบุ

รับพืชหัวจัดเรียง

ในการรับพืชหัวที่จัดตำแหน่งให้ใช้วิธี get_aligned_heads : 

 # After getting predictions
aligned_heads = predictions . get_aligned_heads ()

# Process or save aligned head crops
for i , head in enumerate ( aligned_heads ):
    cv2 . imwrite ( f"aligned_head_ { i } .png" , head )

สิ่งนี้จะส่งคืนรายการพืชหัวที่จัดเรียงซึ่งคุณสามารถประมวลผลหรือบันทึกเพิ่มเติม

ตัวอย่างขยาย

นี่คือตัวอย่างที่สมบูรณ์ซึ่งรวมคุณสมบัติทั้งหมด: 

 from head_detector import HeadDetector
import cv2
import os

# Initialize the detector
detector = HeadDetector ()

# Specify the path to your image
image_path = "your_image.jpg"

# Get predictions
predictions = detector ( image_path )

# Draw heads on the image
result_image = predictions . draw ()
cv2 . imwrite ( "result.png" , result_image )

# Save head meshes
save_folder = "head_meshes"
os . makedirs ( save_folder , exist_ok = True )
predictions . save_meshes ( save_folder )

# Get and save aligned head crops
aligned_heads = predictions . get_aligned_heads ()
for i , head in enumerate ( aligned_heads ):
    cv2 . imwrite ( f"aligned_head_ { i } .png" , head )

print ( f"Detected { len ( predictions . heads ) } heads." )
print ( f"Result image saved as 'result.png'" )
print ( f"Head meshes saved in ' { save_folder } ' folder" )
print ( f"Aligned head crops saved as 'aligned_head_*.png'" )

ตัวอย่างขยายนี้แสดงให้เห็นถึงวิธีการใช้คุณสมบัติทั้งหมดของโมเดล VGGHEADS รวมถึงการตรวจจับศีรษะพื้นฐานผลลัพธ์การวาดการส่งออกตาข่ายหัวและการได้รับพืชหัวจัด

นอกจากนี้ยังมีน้ำหนัก ONNX ที่ HuggingFace ตัวอย่างของการอนุมานสามารถพบได้ที่: colab

การสาธิต Gradio

นอกจากนี้เรายังให้การสาธิต Gradio ซึ่งคุณสามารถทำงานในพื้นที่: 

 cd gradio
pip install -r requirements.txt
python app.py

คุณสามารถระบุ --server_port , --share , -อาร์กิวเมนต์ --server_name เพื่อตอบสนองความต้องการของคุณ!

การฝึกอบรม

ตรวจสอบ yolo_head_training/Makefile สำหรับตัวอย่างของสคริปต์รถไฟ

ในการเรียกใช้การฝึกอบรมข้อมูลทั้งหมดด้วยข้อมูลแบบกระจายแบบขนาน (DDP) ให้ใช้คำสั่งต่อไปนี้: 

torchrun --standalone --nnodes=1 --nproc_per_node=NUM_GPUS train.py --config-name=yolo_heads_l 
    dataset_params.train_dataset_params.data_dir=DATA_FOLDER/large 
    dataset_params.val_dataset_params.data_dir=DATA_FOLDER/large 
    num_gpus=NUM_GPUS multi_gpu=DDP

แทนที่ตัวยึดตำแหน่งต่อไปนี้:

  • NUM_GPUS : จำนวน GPU ที่คุณต้องการใช้สำหรับการฝึกอบรม
  • DATA_FOLDER : เส้นทางไปยังไดเรกทอรีที่มีชุดข้อมูลที่แยกออกมาของคุณ

ตัวเลือกการฝึกอบรมเพิ่มเติม

  1. การฝึกอบรม GPU เดี่ยว: หากคุณใช้ GPU เดียวคุณสามารถทำให้คำสั่งง่ายขึ้น: 

    python train.py --config-name=yolo_heads_l 
    dataset_params.train_dataset_params.data_dir=DATA_FOLDER/large 
    dataset_params.val_dataset_params.data_dir=DATA_FOLDER/large

  2. การกำหนดค่าที่กำหนดเอง: คุณสามารถแก้ไขพารามิเตอร์ --config-name เพื่อใช้การกำหนดค่าโมเดลที่แตกต่างกัน ตรวจสอบไฟล์การกำหนดค่าในไดเรกทอรีโครงการสำหรับตัวเลือกที่มีอยู่

  3. การปรับพารามิเตอร์ hyperparameters: คุณสามารถปรับพารามิเตอร์ hyperparameters ต่างๆได้โดยเพิ่มลงในบรรทัดคำสั่ง ตัวอย่างเช่น: 

    python train.py --config-name=yolo_heads_l 
    dataset_params.train_dataset_params.data_dir=DATA_FOLDER/large 
    dataset_params.val_dataset_params.data_dir=DATA_FOLDER/large 
    training_hyperparams.initial_lr=0.001 
    training_hyperparams.max_epochs=100

  4. การฝึกอบรมต่อ: หากคุณต้องการฝึกอบรมต่อจากจุดตรวจสอบคุณสามารถใช้ training_hyperparams.resume ธง: 

    python train.py --config-name=yolo_heads_l 
    dataset_params.train_dataset_params.data_dir=DATA_FOLDER/large 
    dataset_params.val_dataset_params.data_dir=DATA_FOLDER/large 
    training_hyperparams.resume=True

การติดตามการฝึกอบรม

คุณสามารถตรวจสอบความคืบหน้าการฝึกอบรมผ่านเอาต์พุตคอนโซล พิจารณาใช้เครื่องมือเช่น Tensorboard สำหรับการตรวจสอบอย่างละเอียดและการสร้างภาพข้อมูลการฝึกอบรม

อ้างถึง

หากคุณพบว่า vggheads มีประโยชน์สำหรับการวิจัยและแอปพลิเคชันของคุณโปรดอ้างอิงเราโดยใช้ bibtex นี้: 

 @article { vggheads ,
      title = { VGGHeads: A Large-Scale Synthetic Dataset for 3D Human Heads } ,
      author = { Orest Kupyn and Eugene Khvedchenia and Christian Rupprecht } ,
      year = { 2024 } ,
      eprint = { 2407.18245 } ,
      archivePrefix = { arXiv } ,
      primaryClass = { cs.CV } ,
      url = { https://arxiv.org/abs/2407.18245 } ,
}

งานนี้ได้รับใบอนุญาตภายใต้ใบอนุญาตสร้างแหล่งที่มาของ Creative Commons-Noncommercial 4.0

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด