sgan

Sozialer Gan

Dies ist der Code für das Papier

Social Gan: Sozial akzeptable Flugbahnen mit generativen kontroversen Netzwerken
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
Präsentiert bei CVPR 2018

Die menschliche Bewegung ist zwischenmenschlich, multimodal und folgt den sozialen Konventionen. In diesem Artikel befassen wir dieses Problem, indem wir Tools aus der Sequenzvorhersage und generativen kontroversen Netzwerken kombinieren: Ein wiederkehrendes Modell zur Sequenz-Sequenz beobachtet Bewegungsgeschichte und sagt zukünftiges Verhalten voraus, wobei ein neuer Pooling-Mechanismus verwendet wird, um Informationen zwischen Menschen zu aggregieren.

Im Folgenden zeigen wir Beispiele für sozial akzeptable Vorhersagen, die unser Modell in komplexen Szenarien gemacht hat. Jede Person wird mit einer anderen Farbe bezeichnet. Wir bezeichnen die beobachtete Flugbahn durch Punkte und die vorhergesagte Flugbahn durch Sterne.

Wenn Sie diesen Code in Ihrer Forschung nützlich finden, zitieren Sie bitte

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Modell

Unser Modell besteht aus drei Schlüsselkomponenten: Generator (G), Pooling -Modul (PM) und Diskriminator (D). G basiert auf einem Encoder-Decoder-Framework, in dem wir die versteckten Zustände von Encoder und Decoder über PM verknüpfen. G nimmt als Eingangstrajektorien aller Personen, die an einer Szene beteiligt sind, und die entsprechenden prognostizierten Flugbahnen aus. D Inputiert die gesamte Sequenz, die sowohl die Eingangstrajektorie als auch die zukünftige Vorhersage umfasst, und klassifiziert sie als „echt/gefälscht“.

Aufstellen

Alle Code wurde auf Ubuntu 16.04 mit Python 3.5 und Pytorch 0,4 entwickelt und getestet.

Sie können eine virtuelle Umgebung einrichten, um den Code wie diesen auszuführen:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Vorbereitete Modelle

Sie können vorgefertigte Modelle herunterladen, indem Sie die Skript bash scripts/download_models.sh ausführen. Dadurch werden die folgenden Modelle heruntergeladen:

• sgan-models/<dataset_name>_<pred_len>.pt : Enthält 10 vorbereitete Modelle für alle fünf Datensätze. Diese Modelle entsprechen SGAN-20V-20 in Tabelle 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : Enthält 10 vorbereitete Modelle für alle fünf Datensätze. Diese Modelle entsprechen SGAN-20VP-20 in Tabelle 1.

Weitere Ergebnisse finden Sie im Modellzoo.

Auslaufmodelle

Sie können die scripts/evaluate_model.py verwenden, um einfach eines der vorbereiteten Modelle auf einem der DATSETS auszuführen. Beispielsweise können Sie die Ergebnisse von Tabelle 1 für alle Datensätze für SGAN-20V-20 wie folgt replizieren:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Neue Modelle trainieren

Anweisungen für das Training neuer Modelle finden Sie hier.