sgan

Gane social

Este é o código para o artigo

Gane social: trajetórias socialmente aceitáveis com redes adversárias generativas
AGRIM GUPTA, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
Apresentado no CVPR 2018

O movimento humano é interpessoal, multimodal e segue convenções sociais. Neste artigo, abordamos esse problema combinando ferramentas da previsão de sequência e redes adversárias generativas: um modelo recorrente de sequência a sequência observa histórias de movimento e prevê o comportamento futuro, usando um novo mecanismo de agrupamento para agregar informações entre as pessoas.

Abaixo, mostramos exemplos de previsões socialmente aceitáveis feitas pelo nosso modelo em cenários complexos. Cada pessoa é denotada por uma cor diferente. Denotamos a trajetória observada por pontos e a trajetória prevista por estrelas.

Se você achar este código útil em sua pesquisa, cite -se

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Modelo

Nosso modelo consiste em três componentes principais: gerador (g), módulo de pool (PM) e discriminador (d). G é baseado na estrutura do codificador-decodificador, onde vinculamos os estados ocultos do codificador e decodificador via PM. G toma como trajetórias de entrada de todas as pessoas envolvidas em uma cena e saídas de trajetórias previstas correspondentes. D insere toda a sequência que compreende a trajetória de entrada e a previsão futura e as classifica como "real/falsa".

Configurar

Todo o código foi desenvolvido e testado no Ubuntu 16.04 com Python 3.5 e Pytorch 0.4.

Você pode configurar um ambiente virtual para executar o código como este:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Modelos pré -terem sido pretados

Você pode baixar modelos pré -tenhados executando o script bash scripts/download_models.sh . Isso vai baixar os seguintes modelos:

• sgan-models/<dataset_name>_<pred_len>.pt : contém 10 modelos pré-traidos para todos os cinco conjuntos de dados. Esses modelos correspondem ao SGAN-20V-20 na Tabela 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : contém 10 modelos pré-gravados para todos os cinco conjuntos de dados. Esses modelos correspondem ao SGAN-20VP-20 na Tabela 1.

Consulte o Model Zoo para obter resultados.

Modelos em execução

Você pode usar os scripts/evaluate_model.py para executar facilmente qualquer um dos modelos pré -terem previsto em qualquer um dos dados. Por exemplo, você pode replicar os resultados da Tabela 1 para todos os conjuntos de dados para SGAN-20V-20 como este:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Treinando novos modelos

As instruções para o treinamento de novos modelos podem ser encontradas aqui.