sgan

Gan social

Ceci est le code du papier

Gan social: trajectoires socialement acceptables avec des réseaux adversaires génératifs
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
Présenté au CVPR 2018

Le mouvement humain est interpersonnel, multimodal et suit les conventions sociales. Dans cet article, nous abordons ce problème en combinant des outils à partir de prédiction de séquence et de réseaux adversariaux génératifs: un modèle récurrent de séquence à la séquence observe des histoires de mouvement et prédit un comportement futur, en utilisant un nouveau mécanisme de mise en commun pour agréger les informations entre les personnes.

Ci-dessous, nous montrons des exemples de prédictions socialement acceptables faites par notre modèle dans des scénarios complexes. Chaque personne est indiquée par une couleur différente. Nous désignons la trajectoire observée par les points et la trajectoire prédite par les étoiles.

Si vous trouvez ce code utile dans votre recherche, veuillez citer

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Modèle

Notre modèle se compose de trois composants clés: le générateur (G), le module de mise en commun (PM) et le discriminateur (D). G est basé sur le cadre d'encodeur-décodeur où nous relions les états cachés de l'encodeur et du décodeur via PM. G prend en tant que trajectoires d'entrée de toutes les personnes impliquées dans une scène et les sorties correspondantes des trajectoires prévues. D entre la séquence entière comprenant à la fois la trajectoire d'entrée et la prédiction future et les classe comme «réelles / fausses».

Installation

Tout le code a été développé et testé sur Ubuntu 16.04 avec Python 3.5 et Pytorch 0.4.

Vous pouvez configurer un environnement virtuel pour exécuter le code comme celui-ci:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Modèles pré-entraînés

Vous pouvez télécharger des modèles pré-entraînés en exécutant les bash scripts/download_models.sh . Cela téléchargera les modèles suivants:

• sgan-models/<dataset_name>_<pred_len>.pt : contient 10 modèles pré-entraînés pour les cinq ensembles de données. Ces modèles correspondent à SGAN-20V-20 dans le tableau 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : contient 10 modèles pré-entraînés pour les cinq ensembles de données. Ces modèles correspondent à SGAN-20VP-20 dans le tableau 1.

Veuillez vous référer à Model Zoo pour les résultats.

Modèles de course

Vous pouvez utiliser le script scripts/evaluate_model.py pour exécuter facilement l'un des modèles pré-entraînés sur l'un des DATSET. Par exemple, vous pouvez reproduire les résultats du tableau 1 pour tous les ensembles de données pour SGAN-20V-20 comme ceci:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Formation de nouveaux modèles

Des instructions pour la formation de nouveaux modèles peuvent être trouvées ici.