DeepNLP Course

アビーのディープNLPコース

アビーのNLPクラッシュコースのディープラーニング。

提案された教科書：Yoav Goldbergによる自然言語処理におけるニューラルネットワーク方法

今、ノートブックを徐々に更新して翻訳しています。連絡を取り合いましょう。

材料

1週目：はじめに

IMDBムービーレビューデータセットに関するセンチメント分析：Kerasに対するNLP +の簡単なイントロの古典的な機械学習の簡単な概要。

ロシア語版：

更新された英語バージョン：

2週目：単語の埋め込み：パート1

埋め込みという言葉を満たす：単語間の楽しい関係を捉えるための監視されていない方法。
単語埋め込みモデル +並列データのない単語ベースの機械翻訳とのフレーズの類似性（Muse Word Embeddingsを使用）。

ロシア語版：

更新された英語バージョン：

3週目：単語の埋め込み：パート2

Pytorchの紹介。 Pure NumpyおよびPytorchでのPET線形回帰の実装。 CBOW、スキップグラム、ネガティブサンプリング、および構造化されたWord2VECモデルの実装。

ロシア語版：

更新された英語バージョン：

4週目：畳み込みニューラルネットワーク

畳み込みネットワークの紹介。畳み込みとnグラムの関係。キャラクターレベルの畳み込み +楽しい視覚化に関するシンプルな姓検出器。

ロシア語版：

更新された英語バージョン：

5週目： RNNS：パート1

テキスト分類用のRNN。シンプルなRNN実装 +暗記テスト。多言語セットアップの姓検出器：文字レベルのLSTM分類器。

ロシア語版：

更新された英語バージョン：

6週目： RNNS：パート2

シーケンスラベルのRNNS。単語の埋め込みとキャラクターレベルの単語埋め込みに基づいた、スピーチの一部のタガーの実装。

ロシア語版：

7週目：言語モデル：パート1

ロシアのトロールツイートのキャラクターレベルの言語モデル生成：畳み込みとRNNモデルによる固定ウィンドウモデル。
単純な条件付き言語モデル：ソース言語を与えられた姓の生成。
そして、有毒なコメント分類課題 - あなたのスキルを現実世界の問題に適用します。

ロシア語版：

第8週：言語モデル：パート2

詩の生成のための単語レベルの言語モデル。言語モデルに適用される転送学習とマルチタスク学習のペット例。

ロシア語版：

9週目： seq2seq

機械翻訳および画像キャプションのためのseq2seq。機械翻訳のためのバイトペアエンコード、ビーム検索、その他の便利なもの。

ロシア語版：

10週目：注意を払ってseq2seq

機械翻訳と画像キャプションに注意を払ったseq2seq。

ロシア語版：

11週目：トランスとテキストの要約

テキスト要約のためのトランスモデルの実装。テキスト要約のためのポインタージェネレーターネットワークの議論。

ロシア語版：

12週目：ダイアログシステム：パート1

目標指向のダイアログシステム。マルチタスクモデルの実装：Dialogue ManagerのIntent ClassifierとToken Tagger。

ロシア語版：

13週目：ダイアログシステム：パート2

一般的な会話ダイアログシステムとDSSM。 Squad DatasetおよびChit-Chatモデルでの質問回答モデルの実装OpenSubTitles Dataset。

ロシア語版：

14週目：事前に守られたモデル

さまざまなタスクの前提条件のモデル：文の類似性のためのユニバーサルセンテンスエンコーダー、シーケンスタグ付けのELMO（CRFの少し）、SWAGのBert-継続の可能性について推論。

ロシア語版：

最終プレゼンテーション

NLPの要約 - コースに登場していないクールなものの要約。