nlp tutorial

NLPチュートリアル

nlp-tutorial Pytorchを使用してNLP（自然言語処理）を研究している人のためのチュートリアルです。 NLPのほとんどのモデルは、 100行未満のコードで実装されました（コメントまたは空白行を除く）

• [08-14-2020]古いTensorflow V1コードは、アーカイブフォルダーにアーカイブされています。初心者の読みやすさの場合、Pytorchバージョン1.0以上のみがサポートされています。

カリキュラム - （例の目的）

1。基本埋め込みモデル

• 1-1。 NNLM（ニューラルネットワーク言語モデル） -次の単語を予測します
  • 論文 - 神経確率論的言語モデル（2003）
  • colab -nnlm.ipynb
• 1-2。 word2vec（Skip -gram） -単語を埋め込み、グラフを表示します
  • 論文 - 単語やフレーズとその構成の分散表現（2013）
  • colab -word2vec.ipynb
• 1-3。 FastText（アプリケーションレベル） -文の分類
  • 紙 - 効率的なテキスト分類のためのトリックの袋（2016）
  • colab -fasttext.ipynb

2。CNN（畳み込みニューラルネットワーク）

• 2-1。 Textcnn-バイナリセンチメント分類
  • 論文 - 文化分類のための畳み込みニューラルネットワーク（2014）
  • textcnn.ipynb

3。RNN（再発性ニューラルネットワーク）

• 3-1。 Textrnn-次のステップを予測します
  • 論文 - 時間内の構造を見つける（1990）
  • colab -textrnn.ipynb
• 3-2。 textlstm -autocomplete
  • 論文 - 長期記憶（1997）
  • colab -textlstm.ipynb
• 3-3。 bi -lstm-長い文で次の単語を予測します
  • colab -bi_lstm.ipynb

4。注意メカニズム

• 4-1。 seq2seq-単語を変更します
  • 論文 - RNNエンコーダーを使用した学習フレーズ表現 - 統計機械翻訳のためのデコーダー（2014）
  • colab -seq2seq.ipynb
• 4-2。注意を払ったseq2seq-翻訳
  • 論文 - 整列と翻訳を共同で学習することによるニューラル機械翻訳（2014）
  • colab -seq2seq（注意）.ipynb
• 4-3。注意を払ったbi -lstm-バイナリ感情分類
  • colab -bi_lstm（注意）.ipynb

5。変圧器に基づくモデル

• 5-1。トランス -翻訳
  • 論文 - 注意が必要なのは（2017）
  • Colab -Transformer.ipynb、Transform（greedy_decoder）.ipynb
• 5-2。 BERT-次の文を分類し、マスクされたトークンを予測します
  • 紙 - バート：言語理解のための深い双方向トランスの事前訓練（2018）
  • colab -bert.ipynb

依存関係

• Python 3.5+
• Pytorch 1.0.0+

著者

• テ・ファン・ジョン（ジェフ・ジョン）@graykode
• 著者のメール：[email protected]
• NLP研究インターンシップとしてのMojitokへの謝辞。