deep learning nlp kaggle toxic comment

NLP的深度学习

本教程是在自然语言处理领域中使用深度学习算法的介绍。

它是使用以下来源的内容（理论和代码）制备的：

1. 与Python的深度学习，FrançoisChollet的书
2. 自然语言处理中的神经网络方法，Yoav Goldberg的书籍
3. CS224D：自然语言处理的深度学习

关于Kaggle的有毒评论分类挑战数据集的练习代码

目录

1. 用例

   1. 序列分类
      1. 语言检测
      2. 类别分类（情感，主题等）
      3. 关键字分类（名称性别，位置/人名称）
   2. 序列序列（SEQ2SEQ）
      1. 翻译
      2. Gmail智能回复
      3. 会话AI：聊天机器人
   3. 其他的
      1. 名称，故事，诗，对话框生成器
      2. 图像字幕
      3. 语音标签的一部分
      4. 名称实体识别

2. 系统设置

   1. Python 3.6
   2. pip
   3. Virtualenv
   4. 图书馆：
      • 凯拉斯
      • 张量
      • Jupyter
      • matplotlib

3. 播放数据集

   1. IMDB评论数据集
   2. Kaggle（有毒评论分类挑战）Wikipedia评论数据集
   3. Ubuntu对话COLPORA
   4. 翻译数据集
   5. 其他数据集

4. 数据分析

   1. 一般分析

5. 序列表示

   1. 表示
   2. 一个热编码
   3. 单词嵌入
      • 训练有素的嵌入
        • Word2Vec
        • 手套

6. 型号

   1. 嵌入类模型1
   2. 嵌入连接到1层RNN（复发神经网络）模型2和模型2扩展的嵌入
   3. 双向RNN模型3和模型3扩展

7. 现代RNN架构

   1. 长期记忆（LSTM）
   2. Gater复发单元（GRU）
   3. seq2seq
   4. 注意力
   5. 梁搜索

8. 凯拉斯

   1. API和关键字
      1. 优化器
      2. 损失
      3. 激活
      4. 指标
   2. 将模型部署到生产和推理

9. 模型优化技术

   1. 辍学
   2. 通过时间截断反向传播（TBPTT）
   3. 消失的梯度问题