sgan

Gan Sosial

Ini adalah kode untuk kertas

GAN Sosial: Lintasan yang dapat diterima secara sosial dengan jaringan permusuhan generatif
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
Disajikan di CVPR 2018

Gerakan manusia bersifat interpersonal, multimodal dan mengikuti konvensi sosial. Dalam makalah ini, kami mengatasi masalah ini dengan menggabungkan alat-alat dari prediksi urutan dan jaringan permusuhan generatif: model urutan-ke-urutan berulang mengamati sejarah gerak dan memprediksi perilaku di masa depan, menggunakan mekanisme pengumpulan baru untuk menggabungkan informasi di seluruh orang.

Di bawah ini kami menunjukkan contoh prediksi yang dapat diterima secara sosial yang dibuat oleh model kami dalam skenario kompleks. Setiap orang dilambangkan dengan warna yang berbeda. Kami menunjukkan lintasan yang diamati oleh titik -titik dan prediksi lintasan oleh bintang.

Jika Anda menemukan kode ini berguna dalam riset Anda maka silakan mengutip

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Model

Model kami terdiri dari tiga komponen utama: Generator (G), Modul Pooling (PM) dan Diskriminator (D). G didasarkan pada kerangka kerja encoder-decoder di mana kami menghubungkan status tersembunyi encoder dan decoder melalui PM. G mengambil lintasan input dari semua orang yang terlibat dalam adegan dan output yang sesuai dengan lintasan yang diprediksi. D Input seluruh urutan yang terdiri dari lintasan input dan prediksi di masa depan dan mengklasifikasikannya sebagai "nyata/palsu".

Pengaturan

Semua kode dikembangkan dan diuji pada Ubuntu 16.04 dengan Python 3.5 dan Pytorch 0.4.

Anda dapat mengatur lingkungan virtual untuk menjalankan kode seperti ini:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Model pretrained

Anda dapat mengunduh model pretrained dengan menjalankan bash scripts/download_models.sh . Ini akan mengunduh model berikut:

• sgan-models/<dataset_name>_<pred_len>.pt : berisi 10 model pretrained untuk semua lima dataset. Model-model ini sesuai dengan SGAN-20V-20 pada Tabel 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : berisi 10 model pretrained untuk semua lima dataset. Model-model ini sesuai dengan SGAN-20VP-20 pada Tabel 1.

Silakan merujuk ke Model Zoo untuk hasil.

Model Menjalankan

Anda dapat menggunakan scripts/evaluate_model.py untuk dengan mudah menjalankan salah satu model pretrained pada salah satu datset. Misalnya Anda dapat mereplikasi hasil Tabel 1 untuk semua set data untuk SGAN-20V-20 seperti ini:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Melatih model baru

Instruksi untuk melatih model baru dapat ditemukan di sini.