sgan

Социальный Ган

Это код для статьи

Social Gan: социально приемлемые траектории с генеративными состязательными сетями
Агрим Гупта, Джастин Джонсон, Фей-Феи Ли, Сильвио Саварзе, Александр Алахи
Представлено на CVPR 2018

Человеческое движение является межличностным, мультимодальным и следует за социальными соглашениями. В этой статье мы решаем эту проблему, объединяя инструменты из прогнозирования последовательностей и генеративных состязательных сетей: рецидивирующая модель последовательности к последовательности наблюдает за историей движения и предсказывает будущее поведение, используя новый механизм объединения для агрегирования информации по людям.

Ниже мы показываем примеры социально приемлемых прогнозов, сделанных нашей моделью в сложных сценариях. Каждый человек обозначен различным цветом. Мы обозначаем наблюдаемую траекторию точками и предсказали траекторию звезд.

Если вы найдете этот код полезным в своем исследовании, пожалуйста, цитируйте

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

Модель

Наша модель состоит из трех ключевых компонентов: генератор (G), модуль объединения (PM) и дискриминатора (D). G основан на структуре Encoder-Decoder, где мы связываем скрытые состояния Encoder и Decoder через PM. G принимает в качестве входных траекторий всех людей, вовлеченных в сцену и результаты, соответствующие прогнозируемым траекториям. D вводит всю последовательность, включающую как входную траекторию, так и будущее предсказание и классифицирует их как «реальную/фальшивую».

Настраивать

Весь код был разработан и протестирован на Ubuntu 16.04 с Python 3.5 и Pytorch 0,4.

Вы можете настроить виртуальную среду для запуска кода так:

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

Предварительные модели

Вы можете скачать предварительные модели, запустив скрипт bash scripts/download_models.sh . Это загрузит следующие модели:

• sgan-models/<dataset_name>_<pred_len>.pt : содержит 10 предварительных моделей для всех пяти наборов данных. Эти модели соответствуют SGAN-20V-20 в таблице 1.
• sgan-p-models/<dataset_name>_<pred_len>.pt : содержит 10 предварительно предварительно подготовленных моделей для всех пяти наборов данных. Эти модели соответствуют SGAN-20VP-20 в таблице 1.

Пожалуйста, обратитесь к модели зоопарка для результатов.

Запуск моделей

Вы можете использовать scripts/evaluate_model.py чтобы легко запустить любую из предварительно предварительно проведенных моделей на любой из Datsets. Например, вы можете повторить результаты таблицы 1 для всех наборов данных для SGAN-20V-20, как это:

python scripts/evaluate_model.py 
  --model_path models/sgan-models

Обучение новых моделей

Инструкции по обучению новых моделей можно найти здесь.