pytorch soft actor critic

설명

---

소프트 액터 크리치 알고리즘 및 응용 분야의 재 구현 및 소프트 액터 크리치 (Soft Actor-Critic)의 SAC의 결정 론적 변형 : 확률 론적 행위자와 함께 정책 최대 엔트로피 깊은 강화 학습.

소프트 액터 크리치에 대한 다른 지점을 추가했습니다 : 확률 론적 행위자와 함께 정책 최대 엔트로피 딥 보강 학습-> sac_v.

요구 사항

---

• Mujoco-Py
• Pytorch

기본 인수 및 사용

---

용법

 usage: main.py [-h] [--env-name ENV_NAME] [--policy POLICY] [--eval EVAL]
               [--gamma G] [--tau G] [--lr G] [--alpha G]
               [--automatic_entropy_tuning G] [--seed N] [--batch_size N]
               [--num_steps N] [--hidden_size N] [--updates_per_step N]
               [--start_steps N] [--target_update_interval N]
               [--replay_size N] [--cuda]

(참고 : 온도 --automatic_entropy_tuning 설정할 필요가 없습니다 ( --alpha ).

SAC의 경우

 python main.py --env-name Humanoid-v2 --alpha 0.05

SAC 용 (하드 업데이트)

 python main.py --env-name Humanoid-v2 --alpha 0.05 --tau 1 --target_update_interval 1000

SAC의 경우 (결정 론적, 하드 업데이트)

 python main.py --env-name Humanoid-v2 --policy Deterministic --tau 1 --target_update_interval 1000

논쟁

---

 PyTorch Soft Actor-Critic Args

optional arguments:
  -h, --help            show this help message and exit
  --env-name ENV_NAME   Mujoco Gym environment (default: HalfCheetah-v2)
  --policy POLICY       Policy Type: Gaussian | Deterministic (default:
                        Gaussian)
  --eval EVAL           Evaluates a policy a policy every 10 episode (default:
                        True)
  --gamma G             discount factor for reward (default: 0.99)
  --tau G               target smoothing coefficient(τ) (default: 5e-3)
  --lr G                learning rate (default: 3e-4)
  --alpha G             Temperature parameter α determines the relative
                        importance of the entropy term against the reward
                        (default: 0.2)
  --automatic_entropy_tuning G
                        Automaically adjust α (default: False)
  --seed N              random seed (default: 123456)
  --batch_size N        batch size (default: 256)
  --num_steps N         maximum number of steps (default: 1e6)
  --hidden_size N       hidden size (default: 256)
  --updates_per_step N  model updates per simulator step (default: 1)
  --start_steps N       Steps sampling random actions (default: 1e4)
  --target_update_interval N
                        Value target update per no. of updates per step
                        (default: 1)
  --replay_size N       size of replay buffer (default: 1e6)
  --cuda                run on CUDA (default: False)

환경 ( --env-name )	온도 ( --alpha )
Halfcheetah-V2	0.2
호퍼 -V2	0.2
Walker2d-V2	0.2
Ant-V2	0.2
휴머노이드 V2	0.05