deep learning nlp kaggle toxic comment

NLPの深い学習

このチュートリアルは、自然言語処理のドメインで深い学習アルゴリズムを使用することの紹介です。

また、次のソースからコンテンツ（理論とコード）を使用して準備されています。

1. Pythonを使用したディープラーニング、FrançoisCholletの本
2. 自然言語処理におけるニューラルネットワーク方法、Yoav Goldbergの本
3. CS224D：自然言語処理のための深い学習

Kaggleの有毒コメント分類チャレンジデータセットの練習コード

目次

1. ユースケース

   1. シーケンス分類
      1. 言語検出
      2. カテゴリ分類（感情、トピックなど）
      3. キーワード分類（名前の性別、場所/個人名）
   2. シーケンスへのシーケンス（seq2seq）
      1. 翻訳
      2. Gmailスマート返信
      3. 会話AI：チャットボット
   3. その他
      1. 名前、ストーリー、詩、ダイアログジェネレーター
      2. 画像キャプション
      3. 音声タグ付けの一部
      4. 名前エンティティ認識

2. システムのセットアップ

   1. Python 3.6
   2. ピップ
   3. Virtualenv
   4. 図書館：
      • ケラス
      • Tensorflow
      • jupyter
      • matplotlib

3. プレイするデータセット

   1. IMDBレビューデータセット
   2. Kaggle（Toxic Comment Classification Challenge）Wikipediaコメントデータセット
   3. Ubuntuダイアログコーパス
   4. 翻訳データセット
   5. その他のデータセット

4. データ分析

   1. 一般分析

5. シーケンス表現

   1. 表現
   2. 1つのホットエンコーディング
   3. 単語埋め込み
      • 事前に訓練された埋め込み
        • word2vec
        • グローブ

6. モデル

   1. クラスモデル1への埋め込み
   2. 1層に接続された埋め込みRNN（再発ニューラルネットワーク）モデル2とモデル2拡張
   3. 双方向RNNモデル3とモデル3が拡張されました

7. 現代のRNNアーキテクチャ

   1. 長期記憶（LSTM）
   2. ゲーターリカレントユニット（GRU）
   3. seq2seq
   4. 注意
   5. ビーム検索

8. ケラス

   1. APIおよびキーワード
      1. オプティマイザー
      2. 損失
      3. 活性化
      4. メトリック
   2. モデルを生産と推論に展開します

9. モデル最適化手法

   1. ドロップアウト
   2. 時間による切り捨てられたバックプロパゲーション（TBPTT）
   3. 勾配の問題を消滅させます