DeepNLP Course

Abbyy的深入NLP课程

Abbyy的NLP速成课程的深度学习。

建议的教科书：Yoav Goldberg的自然语言处理中的神经网络方法

我现在正在逐步更新并翻译笔记本。保持联系。

材料

第1周：介绍

关于IMDB电影评论数据集的情感分析：NLP + deccepent of的经典机器学习的简短概述。

俄罗斯版本：

更新的英语版本：

第2周：单词嵌入：第1部分

满足嵌入一词：一种无监督的方法，可以捕获单词之间的一些有趣的关系。
短语与单词嵌入模型 +基于单词的机器翻译相似，而无需并联数据（缪斯词嵌入）。

俄罗斯版本：

更新的英语版本：

第3周：单词嵌入：第2部分

Pytorch简介。在纯Numpy和Pytorch上实现PET线性回归。 CBOW，SKIP-GROM，负抽样和结构化Word2VEC模型的实现。

俄罗斯版本：

更新的英语版本：

第4周：卷积神经网络

卷积网络简介。卷积与n-gram之间的关系。在字符级别的卷积 +有趣的可视化中，简单的姓氏探测器。

俄罗斯版本：

更新的英语版本：

第5周： RNNS：第1部分

用于文本分类的RNN。简单的RNN实现 +记忆测试。多语言设置中的姓氏检测器：字符级LSTM分类器。

俄罗斯版本：

更新的英语版本：

第6周： RNNS：第2部分

用于序列标记的RNN。基于单词嵌入和字符级单词嵌入的言论一部分标记器实现。

俄罗斯版本：

第7周：语言模型：第1部分

俄罗斯巨魔推文的角色级语言模型生成：通过卷积和RNN模型的固定窗口模型。
简单的条件语言模型：给定源语言的姓氏生成。
和有毒的评论分类挑战 - 将您的技能应用于现实世界中的问题。

俄罗斯版本：

第8周：语言模型：第2部分

诗歌产生的单词级语言模型。将转移学习和多任务学习的宠物示例应用于语言模型。

俄罗斯版本：

第9周： seq2seq

SEQ2SEQ用于机器翻译和图像字幕。字节对编码，梁搜索和其他有用的东西用于机器翻译。

俄罗斯版本：

第10周： SEQ2SEQ引起关注

SEQ2SEQ，请注意机器翻译和图像字幕。

俄罗斯版本：

第11周：变形金刚和文字摘要

用于文本摘要的变压器模型的实现。讨论用于文本摘要的指针生成网络。

俄罗斯版本：

第12周：对话系统：第1部分

以目标为导向的对话系统。多任务模型的实现：对话管理器的意图分类器和令牌标记器。

俄罗斯版本：

第13周：对话系统：第2部分

一般对话对话系统和DSSM。在opensubtitles数据集上对小队数据集和chat chat模型的实现。

俄罗斯版本：

第14周：预算模型

针对各种任务的预处理模型：句子相似性的通用句子编码器，用于序列标记的Elmo（带有一点CRF），BERT用于赃物 - 关于可能延续的推理。

俄罗斯版本：

最终演示

NLP摘要 - 在课程中出现和没有出现的酷物品摘要。