shakespeareGPT

셰익스피어 프트

Andrej Karpathy를 기반으로 한 처음부터 GPT 빌딩 및 훈련 : GPT를 구축하자. 지도 시간

데이터 세트 Tiny-Shakespeare : 약간의 수정이있는 원본.

TutorialGpt (비디오 팔로우)

• Basic_bigramlm.py : 물건을 굴리기 위해 생성 된 기본 Bigram 모델을 구축했습니다.
• Tutorial.ipynb : Tril, Masked_fill, SoftMax +주의에 대한 기본주의 메커니즘을 이해했습니다.
• lmwithattention.py : 모델을 계속했지만 이제는 단일주의 헤드, 토큰 임베드, 위치 임베드가 있습니다.
• 주의 사항 : 단일주의 헤드를 구축했습니다
• lm_multihead_attention_ffwd.ipynb : 이제 모델을 계속해서 여러 번의주의 헤드와 LM_HEAD 이전에 별도의 피드 포워드 레이어를 갖도록했습니다.
• Tutorialgpt.ipynb : 변압기 블록, 레이어링, 잔여 연결, 더 나은 손실 평가, 드롭 아웃, Layernorm을 생성했습니다.

캐릭터 레벨 GPT

캐릭터 레벨 토큰 화기를 사용했습니다. n_embeds, num_heads와 같은 하이퍼 파라미터의 영향을 더 잘 이해하기 위해 다른 구성으로 두 가지 버전을 훈련 시켰습니다.

Kaggle을 사용해보십시오

• v1 :

  • 공책
  • 저장된 모델
  • 결과

• v2 :

  • 공책
  • 저장된 모델
  • 결과

셰익스피어 프트

바이트 페어 인코딩 토큰 화기를 사용했습니다.

Kaggle을 사용해보십시오

• GPT.PY : 전체 GPT 모델
• DataSet.py : Torch DataSet
• build_tokenizer.py : Tokenizer에서 저장된 GPT-2와 유사한 huggingface tokenizers 사용한 BPE 토큰 화기
• Train.py : 교육 스크립트에는 최적화, 구성, 손실 기능, 트레인 루프, 검증 루프, 모델 저장이 포함됩니다.
• generate.py : CPU에 모델을로드하여 텍스트를 생성합니다.

버전

•   V1
    n_embed = 384
    n_heads = 12
    head_size = 32
    n_layers = 4
    lr = 6e-4
    attn_dropout = 0.1
    block_dropout = 0.1
  
    Train Loss: 4.020419597625732
    Valid Loss: 6.213085174560547
  

  • 공책
  • 저장된 모델
  • 결과

•   V2
    n_embed = 384
    n_heads = 6
    head_size = 64
    n_layers = 3
    lr = 5e-4
    attn_dropout = 0.2
    block_dropout = 0.2
  
    Train Loss: 3.933095216751099 
    Valid Loss: 5.970513820648193
  

  • 공책
  • 저장된 모델
  • 결과

---

항상 그렇듯이 Andrej의 놀라운 튜토리얼!