sgan

ソーシャルガン

これは論文のコードです

ソーシャルガン：生成的敵対的ネットワークを備えた社会的に受け入れられる軌跡
Agrim Gupta、Justin Johnson、Fei-Fei Li、Silvio Savarese、Alexandre Alahi
CVPR 2018で発表

人間の動きは対人的でマルチモーダルであり、社会的慣習に続きます。このホワイトペーパーでは、シーケンス予測と生成的敵対的ネットワークのツールを組み合わせることにより、この問題に取り組みます。再発シーケンスからシーケンスモデルは、動き履歴を観察し、将来の動作を予測し、新しいプーリングメカニズムを使用して人々を集計します。

以下に、複雑なシナリオでモデルによって行われた社会的に受け入れられる予測の例を示します。各人は異なる色で示されます。観察された軌跡を点で示し、星別の軌跡を予測します。

このコードがあなたの研究で役立つと思うなら、引用してください

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

モデル

私たちのモデルは、発電機（g）、プーリングモジュール（PM）、および判別器（D）の3つの重要なコンポーネントで構成されています。 Gは、PMを介してエンコーダーとデコーダーの非表示状態をリンクするエンコーダーデコーダーフレームワークに基づいています。 Gは、シーンに関与するすべての人々の入力軌跡を取り、対応する予測軌跡を出力します。 d入力軌道と将来の予測の両方を含むシーケンス全体を入力し、それらを「リアル/フェイク」として分類します。

設定

すべてのコードは、Python 3.5およびPytorch 0.4でUbuntu 16.04で開発およびテストされました。

仮想環境をセットアップして、次のようなコードを実行できます。

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

前処理されたモデル

スクリプトbash scripts/download_models.shを実行することにより、前処理されたモデルをダウンロードできます。これにより、次のモデルがダウンロードされます。

• sgan-models/<dataset_name>_<pred_len>.pt ：5つのデータセットすべてに10の前処理モデルが含まれています。これらのモデルは、表1のSGAN-20V-20に対応しています。
• sgan-p-models/<dataset_name>_<pred_len>.pt ：5つのデータセットすべてに10の前処理モデルが含まれています。これらのモデルは、表1のSGAN-20VP-20に対応しています。

結果については、Model Zooを参照してください。

ランニングモデル

スクリプトscripts/evaluate_model.pyを使用して、データセットのいずれかで事前に処理されたモデルを簡単に実行できます。たとえば、このようなSGAN-20V-20のすべてのデータセットの表1結果を再現できます。

python scripts/evaluate_model.py 
  --model_path models/sgan-models

新しいモデルのトレーニング

新しいモデルのトレーニングの指示はこちらにあります。