sgan

ห่านสังคม

นี่คือรหัสสำหรับกระดาษ

Social Gan: วิถีที่ยอมรับได้ทางสังคมพร้อมเครือข่ายฝ่ายตรงข้าม
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
นำเสนอที่ CVPR 2018

การเคลื่อนไหวของมนุษย์นั้นมีความสัมพันธ์ระหว่างบุคคลหลายรูปแบบและตามการประชุมทางสังคม ในบทความนี้เราจัดการกับปัญหานี้โดยการรวมเครื่องมือจากการทำนายลำดับและเครือข่ายที่เกิดจากการกำเนิด: แบบจำลองลำดับต่อลำดับที่เกิดขึ้นตามลำดับการสังเกตประวัติศาสตร์การเคลื่อนไหวและทำนายพฤติกรรมในอนาคตโดยใช้กลไกการรวมใหม่เพื่อรวมข้อมูลทั่วทั้งคน

ด้านล่างเราแสดงตัวอย่างของการคาดการณ์ที่ยอมรับได้ทางสังคมที่ทำโดยแบบจำลองของเราในสถานการณ์ที่ซับซ้อน แต่ละคนแสดงด้วยสีที่แตกต่างกัน เราแสดงถึงวิถีที่สังเกตได้โดยจุดและวิถีที่คาดการณ์ไว้โดยดาว

หากคุณพบว่ารหัสนี้มีประโยชน์ในการวิจัยของคุณโปรดอ้างอิง

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

แบบอย่าง

โมเดลของเราประกอบด้วยองค์ประกอบสำคัญสามประการ: เครื่องกำเนิดไฟฟ้า (G), โมดูลรวม (PM) และ discriminator (D) G ขึ้นอยู่กับเฟรมเวิร์กตัวเข้ารหัสที่เราเชื่อมโยงสถานะที่ซ่อนอยู่ของตัวเข้ารหัสและตัวถอดรหัสผ่าน PM G ใช้เป็นวิถีการป้อนข้อมูลของทุกคนที่เกี่ยวข้องในฉากและเอาต์พุตตามวิถีที่คาดการณ์ไว้ D อินพุตลำดับทั้งหมดประกอบด้วยทั้งวิถีการป้อนข้อมูลและการทำนายในอนาคตและจัดประเภทเป็น "ของจริง/ปลอม"

การตั้งค่า

รหัสทั้งหมดได้รับการพัฒนาและทดสอบบน Ubuntu 16.04 ด้วย Python 3.5 และ Pytorch 0.4

คุณสามารถตั้งค่าสภาพแวดล้อมเสมือนจริงเพื่อเรียกใช้รหัสเช่นนี้:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

นางแบบที่ได้รับการฝึกฝน

คุณสามารถดาวน์โหลดโมเดลที่ผ่านการฝึกอบรมได้โดยเรียกใช้สคริปต์ bash scripts/download_models.sh สิ่งนี้จะดาวน์โหลดรุ่นต่อไปนี้:

• sgan-models/<dataset_name>_<pred_len>.pt : มี 10 รุ่นที่ผ่านการฝึกอบรมสำหรับชุดข้อมูลทั้งห้าชุด โมเดลเหล่านี้สอดคล้องกับ SGAN-20V-20 ในตารางที่ 1
• sgan-p-models/<dataset_name>_<pred_len>.pt : มี 10 รุ่นที่ผ่านการฝึกอบรมสำหรับชุดข้อมูลทั้งห้าชุด โมเดลเหล่านี้สอดคล้องกับ SGAN-20VP-20 ในตารางที่ 1

โปรดดู Model Zoo สำหรับผลลัพธ์

รุ่นที่ใช้งาน

คุณสามารถใช้สคริปต์ scripts/evaluate_model.py เพื่อเรียกใช้โมเดลที่ผ่านการฝึกอบรมใด ๆ ได้อย่างง่ายดายในชุดข้อมูลใด ๆ ตัวอย่างเช่นคุณสามารถทำซ้ำตารางที่ 1 ผลลัพธ์สำหรับชุดข้อมูลทั้งหมดสำหรับ SGAN-20V-20 เช่นนี้:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

ฝึกอบรมรุ่นใหม่

คำแนะนำสำหรับการฝึกอบรมรุ่นใหม่สามารถพบได้ที่นี่