NLP-TUTORION
nlp-tutorial Pytorch를 사용하여 NLP (Natural Language Processing)를 공부하는 사람을위한 튜토리얼입니다. NLP의 대부분의 모델은 100 줄 미만의 코드로 구현되었습니다. (주석 또는 빈 줄 제외)
- [08-14-2020] Old TensorFlow V1 코드는 아카이브 폴더에 보관됩니다. 초보자 가독성을 위해 Pytorch 버전 1.0 이상의 경우 만 지원됩니다.
커리큘럼 - (예제 목적)
1. 기본 임베딩 모델
- 1-1. NNLM (신경망 언어 모델) - 다음 단어를 예측하십시오
- 종이 - 신경 확률 언어 모델 (2003)
- Colab -nnlm.ipynb
- 1-2. Word2Vec (Skip -Gram) - 단어를 포함하고 그래프를 표시합니다
- 종이 - 단어와 문구의 분산 된 표현과 그 구성 (2013)
- Colab -Word2vec.ipynb
- 1-3. FastText (응용 프로그램 수준) - 문장 분류
- 종이 - 효율적인 텍스트 분류를위한 트릭 백 (2016)
- Colab -Fasttext.ipynb
2. CNN (Convolutional Neural Network)
- 2-1. TextCnn- 이진 정서 분류
- 종이 - 문장 분류를위한 컨볼 루션 신경 네트워크 (2014)
- textcnn.ipynb
3. RNN (재발 신경 네트워크)
- 3-1. Textrnn- 다음 단계를 예측하십시오
- 종이 - 시간 구조 찾기 (1990)
- colab -textrnn.ipynb
- 3-2. textlstm -autocomplete
- 종이 - 긴 단기 기억 (1997)
- colab -textlstm.ipynb
- 3-3. BI -LSTM- 긴 문장으로 다음 단어를 예측하십시오
4.주의 메커니즘
- 4-1. seq2seq- 단어 변경
- 용지 - 통계 기계 번역을위한 RNN 인코더 - 디코더를 사용한 학습 문구 표현 (2014)
- Colab -Seq2seq.ipynb
- 4-2. 주의력이있는 Seq2Seq- 번역
- 종이 - 공동으로 조정하고 번역하는 법을 배우는 신경 기계 번역 (2014)
- Colab -Seq2seq (주의) .ipynb
- 4-3. 주의가있는 BI -LSTM- 이진 감정 분류
- colab -bi_lstm (주의) .ipynb
5. 변압기를 기반으로 한 모델
- 5-1. 변압기 - 번역
- 종이 -주의가 필요한 전부입니다 (2017)
- Colab -Transformer.ipynb, 변압기 (Greedy_decoder) .ipynb
- 5-2. BERT- 분류 다음 문장 및 마스크 토큰 예측
- 종이 -BERT : 언어 이해를위한 깊은 양방향 변압기의 사전 훈련 (2018)
- Colab -Bert.ipynb
의존성
작가
- Tae Hwan Jung (Jeff Jung) @graykode
- 저자 이메일 : [email protected]
- NLP 연구 인턴쉽으로서 Mojitok에 대한 감사.
