sgan

Ganancia social

Este es el código para el documento

GaN Social: trayectorias socialmente aceptables con redes adversas generativas
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
Presentado en CVPR 2018

El movimiento humano es interpersonal, multimodal y sigue convenciones sociales. En este artículo, abordamos este problema combinando herramientas a partir de la predicción de secuencia y las redes adversas generativas: un modelo recurrente de secuencia a secuencia observa historias de movimiento y predice un comportamiento futuro, utilizando un nuevo mecanismo de agrupación para agregar información entre las personas.

A continuación, mostramos ejemplos de predicciones socialmente aceptables hechas por nuestro modelo en escenarios complejos. Cada persona se denota por un color diferente. Denotamos una trayectoria observada por puntos y trayectoria predicha por estrellas.

Si encuentra este código útil en su investigación, por favor cita

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Modelo

Nuestro modelo consta de tres componentes clave: generador (g), módulo de agrupación (PM) y discriminador (D). G se basa en el marco de codificador de codificadores donde vinculamos los estados ocultos de codificador y decodificador a través de PM. G toma como trayectorias de entrada de todas las personas involucradas en una escena y salidas correspondientes trayectorias predichas. D Entrada toda la secuencia que comprende la trayectoria de entrada y la predicción futura y las clasifica como "reales/falsas".

Configuración

Todo el código fue desarrollado y probado en Ubuntu 16.04 con Python 3.5 y Pytorch 0.4.

Puede configurar un entorno virtual para ejecutar el código así:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Modelos previos a la aparición

Puede descargar modelos previos a la pretrada ejecutando los bash scripts/download_models.sh . Esto descargará los siguientes modelos:

• sgan-models/<dataset_name>_<pred_len>.pt : contiene 10 modelos previos a los pretrados para los cinco conjuntos de datos. Estos modelos corresponden a SGAN-20V-20 en la Tabla 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : contiene 10 modelos previos a los pretrados para los cinco conjuntos de datos. Estos modelos corresponden a SGAN-20VP-20 en la Tabla 1.

Consulte el zoológico del modelo para obtener resultados.

Ejecución de modelos

Puede usar el script scripts/evaluate_model.py para ejecutar fácilmente cualquiera de los modelos previos a los petróleo en cualquiera de los Datsets. Por ejemplo, puede replicar los resultados de la Tabla 1 para todos los conjuntos de datos para SGAN-20V-20 como este:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Entrenamiento de nuevos modelos

Las instrucciones para la capacitación se pueden encontrar nuevos modelos aquí.