sgan

사회 간

이것은 논문의 코드입니다

사회 간 : 생성 적 대적 네트워크가있는 사회적으로 허용되는 궤적
Agrim Gupta, Justin Johnson, Fei-Fei Li, Silvio Savarese, Alexandre Alahi
CVPR 2018에서 발표되었습니다

인간의 움직임은 대인 관계이며 멀티 모달이며 사회적 관습을 따릅니다. 이 논문에서 우리는 서열 예측 및 생성 적대적 네트워크의 도구를 결합 하여이 문제를 해결합니다. 재발 순서-시퀀스 모델은 모션 역사를 관찰하고 미래의 행동을 예측하여 새로운 풀링 메커니즘을 사용하여 사람들의 정보를 집계합니다.

아래에서는 복잡한 시나리오에서 모델에 의해 만들어진 사회적으로 허용되는 예측의 예를 보여줍니다. 각 사람은 다른 색으로 표시됩니다. 우리는 점들에 의한 관찰 된 궤적과 별에 의한 예측 된 궤적을 나타냅니다.

이 코드가 연구에 유용하다고 생각하면 인용하십시오

 @inproceedings{gupta2018social,
  title={Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks},
  author={Gupta, Agrim and Johnson, Justin and Fei-Fei, Li and Savarese, Silvio and Alahi, Alexandre},
  booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
  number={CONF},
  year={2018}
}

모델

우리의 모델은 Generator (G), 풀링 모듈 (PM) 및 판별 자 (D)의 세 가지 주요 구성 요소로 구성됩니다. G는 PM을 통해 인코더와 디코더의 숨겨진 상태를 연결하는 인코더 디코더 프레임 워크를 기반으로합니다. G는 장면에 관련된 모든 사람들의 입력 궤적과 해당 예측 된 궤적을 출력합니다. D는 입력 궤적과 향후 예측을 모두 포함하는 전체 시퀀스를 입력하고이를“실제/가짜”로 분류합니다.

설정

모든 코드는 Python 3.5 및 Pytorch 0.4를 사용하여 Ubuntu 16.04에서 개발 및 테스트되었습니다.

다음과 같은 코드를 실행하기 위해 가상 환경을 설정할 수 있습니다.

python3 -m venv env               # Create a virtual environment
source env/bin/activate           # Activate virtual environment
pip install -r requirements.txt   # Install dependencies
echo $PWD > env/lib/python3.5/site-packages/sgan.pth  # Add current directory to python path
# Work for a while ...
deactivate  # Exit virtual environment 

사전 예방 모델

스크립트 bash scripts/download_models.sh 실행하여 사전 취사 모델을 다운로드 할 수 있습니다. 다음 모델을 다운로드합니다.

• sgan-models/<dataset_name>_<pred_len>.pt : 5 개의 데이터 세트 모두에 대해 10 개의 사기 모델이 포함되어 있습니다. 이 모델은 표 1의 SGAN-20V-20에 해당합니다.
• sgan-p-models/<dataset_name>_<pred_len>.pt : 5 개의 데이터 세트 모두에 대해 10 개의 사기 모델이 포함되어 있습니다. 이 모델은 표 1의 SGAN-20VP-20에 해당합니다.

결과는 모델 동물원을 참조하십시오.

실행 모델

스크립트 scripts/evaluate_model.py 사용하여 모든 DATSETS에서 사방 된 모델을 쉽게 실행할 수 있습니다. 예를 들어 SGAN-20V-20의 모든 데이터 세트에 대한 표 1 결과를 복제 할 수 있습니다.

python scripts/evaluate_model.py 
  --model_path models/sgan-models

새로운 모델 교육

새로운 모델을 훈련하기위한 지침은 여기에서 찾을 수 있습니다.