sgan

社會甘

這是紙的代碼

社會甘：具有生成對抗網絡的社會可接受的軌跡
Agrim Gupta，Justin Johnson，Fei-Fei Li，Silvio Savarese，Alexandre Alahi
在CVPR 2018上發表

人類運動是人際關係，多模式，並遵循社會慣例。在本文中，我們通過結合序列預測和生成對抗網絡的工具來解決此問題：一個經常性的序列到序列模型觀察運動歷史並預測未來的行為，並使用一種新穎的合併機制來匯總人之間的信息。

下面我們顯示了在復雜場景中我們的模型做出的社會可接受預測的示例。每個人都用不同的顏色表示。我們表示通過點觀察到的軌跡，並通過恆星預測軌跡。

如果您發現此代碼對您的研究有用，請引用

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

模型

我們的模型由三個關鍵組件組成：生成器（G），池模塊（PM）和歧視器（D）。 G基於編碼器框架，在該框架中，我們通過PM鏈接編碼器和解碼器的隱藏狀態。 G將所有涉及場景的人的輸入軌跡和輸出相應的預測軌跡作為輸入軌跡。 d輸入整個序列包括輸入軌跡和未來預測，並將它們歸類為“真實/假貨”。

設定

所有代碼均在Ubuntu 16.04上使用Python 3.5和Pytorch 0.4開發和測試。

您可以設置虛擬環境以運行這樣的代碼：

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

預驗證的模型

您可以通過運行腳本bash scripts/download_models.sh下載驗證的模型。這將下載以下模型：

• sgan-models/<dataset_name>_<pred_len>.pt ：包含所有五個數據集的10個審慎模型。這些模型對應於表1中的SGAN-20V-20。
• sgan-p-models/<dataset_name>_<pred_len>.pt ：包含所有五個數據集的10個預讀模型。這些模型對應於表1中的SGAN-20VP-20。

請參閱模型動物園以獲取結果。

運行模型

您可以使用腳本scripts/evaluate_model.py來輕鬆運行任何數據集上的任何預處理模型。例如，您可以為SGAN-20V-20的所有數據集複製表1結果：

python scripts/evaluate_model.py 
  --model_path models/sgan-models

培訓新型號

可以在此處找到培訓新模型的說明。