deep learning nlp kaggle toxic comment

NLP的深度學習

本教程是在自然語言處理領域中使用深度學習算法的介紹。

它是使用以下來源的內容（理論和代碼）製備的：

1. 與Python的深度學習，FrançoisChollet的書
2. 自然語言處理中的神經網絡方法，Yoav Goldberg的書籍
3. CS224D：自然語言處理的深度學習

關於Kaggle的有毒評論分類挑戰數據集的練習代碼

目錄

1. 用例

   1. 序列分類
      1. 語言檢測
      2. 類別分類（情感，主題等）
      3. 關鍵字分類（名稱性別，位置/人名稱）
   2. 序列序列（SEQ2SEQ）
      1. 翻譯
      2. Gmail智能回复
      3. 會話AI：聊天機器人
   3. 其他的
      1. 名稱，故事，詩，對話框生成器
      2. 圖像字幕
      3. 語音標籤的一部分
      4. 名稱實體識別

2. 系統設置

   1. Python 3.6
   2. pip
   3. Virtualenv
   4. 圖書館：
      • 凱拉斯
      • 張量
      • Jupyter
      • matplotlib

3. 播放數據集

   1. IMDB評論數據集
   2. Kaggle（有毒評論分類挑戰）Wikipedia評論數據集
   3. Ubuntu對話COLPORA
   4. 翻譯數據集
   5. 其他數據集

4. 數據分析

   1. 一般分析

5. 序列表示

   1. 表示
   2. 一個熱編碼
   3. 單詞嵌入
      • 訓練有素的嵌入
        • Word2Vec
        • 手套

6. 型號

   1. 嵌入類模型1
   2. 嵌入連接到1層RNN（復發神經網絡）模型2和模型2擴展的嵌入
   3. 雙向RNN模型3和模型3擴展

7. 現代RNN架構

   1. 長期記憶（LSTM）
   2. Gater復發單元（GRU）
   3. seq2seq
   4. 注意力
   5. 梁搜索

8. 凱拉斯

   1. API和關鍵字
      1. 優化器
      2. 損失
      3. 啟用設定
      4. 指標
   2. 將模型部署到生產和推理

9. 模型優化技術

   1. 輟學
   2. 通過時間截斷反向傳播（TBPTT）
   3. 消失的梯度問題