former

이전의

Pytorch에서 처음부터 간단한 변압기 구현. 심층적 인 설명은 http://peterbloem.nl/blog/transformers를 참조하십시오.

제한

여기에 구현 된 모델은 변압기 모델의 단순성과 자체 정보를 보여 주도록 설계되었습니다. 따라서 그들은 더 큰 변압기까지는 확장되지 않습니다. 이를 위해서는 코드를 복잡하게하는 여러 가지 트릭이 필요합니다 (자세한 내용은 블로그 게시물 참조).

저장소의 모든 모델은 변압기 블록의 단일 스택 (즉, 인코더/디코더 구조 없음)으로 구성됩니다. 이 간단한 구성은 종종 가장 잘 작동한다는 것이 밝혀졌습니다.

설치 및 사용

먼저 저장소를 다운로드하거나 복제하십시오. 그런 다음 setup.py, run을 포함하는 디렉토리에서

 pip install -e . 

스위치 -e 코드를 편집 할 때 설치된 패키지도 변경되도록합니다. 예를 들어 코드에 인쇄 문을 추가하여 작동 방식을 확인할 수 있음을 의미합니다.

그런 다음 동일한 디렉토리에서 실행 :

 python experiments/classify.py

이것은 IMDB 데이터 세트에서 간단한 분류 실험을 실행합니다.

하이퍼 파라미터는 명령 줄 인수로 전달됩니다. 기본값은 잘 작동해야합니다. 분류 데이터가 자동으로 다운로드되고 Wikipedia 데이터가 저장소에 포함됩니다.

요구 사항

파이썬 3.6+가 필요합니다. 위의 PIP 명령은 필요한 모든 필요한 패키지를 설치해야합니다. 정확한 Python 버전에 따라 pip install future 필요할 수도 있습니다.

콘다 환경

File environment.yml 모든 종속성이있는 완전한 콘다 환경을 설명합니다. 프로젝트를 복제하거나 다운로드 한 후에는 다음과 같이 환경을 만듭니다.

 conda env create -f environment.yml --name former
conda activate former