Transformers Recipe
1.0.0
Transformers는 NLP (Natural Language Processing) 작업을위한 새로운 기술과 모델의 개발을 가속화했습니다. NLP 작업에 주로 사용되었지만 이제는 컴퓨터 비전 및 강화 학습과 같은 다른 영역에서 큰 채택을하고 있습니다. 그것은 이해하고 적용 할 수있는 가장 중요한 현대 개념 중 하나입니다.
나는 많은 기계 학습과 NLP 학생들과 실무자들이 변압기에 대해 배우는 데 열중하고 있다는 것을 알고 있습니다. 따라서 저는 학생들이 트랜스포머의 세계에 대한 배우는 데 관심이있는 학생들을 안내하는 자원 및 연구 자료 목록의 형태로 학습 가이드를 준비했습니다.
우선, 나는 트랜스포머 모델을 처음부터 더 잘 이해하고 구현하는 데 사용한 재료에 대한 몇 가지 링크를 준비했습니다.
먼저 변압기에 대한 매우 높은 수준의 소개를 얻으십시오. 볼 가치가있는 일부 참조 :
변압기 소개 - 강의 노트 (Elvis Saravia)
처음부터 트랜스포머 (Brandon Rohrer)
딥 러닝 및 NLP에서 변압기의 작동 방식 : 직관적 인 소개 (AI Summer)
스탠포드 CS25- 트랜스포머 유나이티드
언어 이해를위한 딥 러닝 (Deepmind)
변압기 모델 : 소개 및 카탈로그 (Xavier Amatriain)
Jay Alammar의 설명은 예외적입니다. 변압기에 대한 높은 수준의 이해를 얻으면 변압기에 대한 인기있는 상세하고 설명 된 설명으로 뛰어들 수 있습니다.
일러스트 변압기
이 다음 기사는 또한 변압기를 구성 요소로 분류하여 각 부분이 무엇을하는지 자세히 설명하고 설명합니다.
변압기를 분해합니다
이 시점에서 트랜스포머의 기술적 요약 및 개요를 찾고있을 수 있습니다. Lilian Weng의 블로그 게시물은 보석이며 간결한 기술적 설명/요약을 제공합니다.
트랜스포머 패밀리
트랜스포머 패밀리 버전 2.0
이론 후에는 지식을 테스트하는 것이 중요합니다. 나는 일반적으로 물건을보다 자세하게 이해하는 것을 선호하므로 처음부터 알고리즘을 구현하는 것을 선호합니다. 변압기 구현을 위해 주로이 자습서에 의존했습니다.
주석이 달린 변압기 | (Google Colab | Github)
NN.Transformer 및 Torchtext를 사용한 언어 모델링
최신 변압기 중 일부에서 심층적 인 구현을 찾고 있다면 변압기 유용한 코드 메소드 컬렉션이있는 논문을 찾을 수도 있습니다.
Vaswani et al. 변압기 아키텍처를 소개했습니다. 높은 수준의 이해가 있고 세부 사항에 들어가기를 원한 후에 읽으십시오. 다이빙을 위해 논문의 다른 참조에주의하십시오.
주의를 기울이기 만하면됩니다
변압기의 이론을 연구하고 이해 한 후에는 다른 NLP 프로젝트 나 연구에 적용하는 데 관심이있을 수 있습니다. 현재 가장 좋은 방법은 Huggingface의 Transformers 라이브러리입니다.
변압기
Hugging Face 팀은 또한 NLP에 Transformers와 함께 새로운 책을 출판 했으므로 여기에서 확인할 수 있습니다.
보너스로서, Sebastian Raschka의 LLMS에 대한 훌륭한 독서 목록이 있습니다.
큰 언어 모델 이해 - 혁신적인 읽기 목록
공부 자료를 자유롭게 제안하십시오. 다음 업데이트에서는보다 포괄적 인 변압기 응용 프로그램 및 용지 모음을 추가하려고합니다. 또한 쉬운 실험을위한 코드 구현도 제공됩니다. 계속 지켜봐!
새로운 ML 및 NLP 리소스에 대한 정기적 인 업데이트를 보려면 Twitter에서 저를 팔로우하십시오.
