course nlp

自然语言处理的代码优先介绍

您可以在此博客文章中找到有关该课程的信息，并且所有讲座视频都可以在此处找到。

该课程最初是在2019年夏季旧金山大学数据科学计划硕士学位上教授的。该课程使用jupyter Notebooks在Python中教授，使用Sklearn，NLTK，Pytorch和Fastai等图书馆。

目录

将涵盖以下主题：

1。什么是NLP？

• 一个变化的字段
• 资源
• 工具
• Python图书馆
• 示例应用程序
• 道德问题

2。使用NMF和SVD进行主题建模

• 停止单词，茎和lemmatization
• 术语文档矩阵
• 主题频率段文档频率（TF-IDF）
• 奇异值分解（SVD）
• 非负基质分解（NMF）
• 截短的SVD，随机SVD

3。与天真的贝叶斯，逻辑回归和ngrams的情感分类

• 稀疏矩阵存储
• 柜台
• Fastai图书馆
• 天真的贝叶斯
• 逻辑回归
• ngrams
• 带有幼稚贝叶斯特征的逻辑回归，带有trigrams

4。

5。用深度学习的语言建模和情感分类

• 语言模型
• 转移学习
• 情感分类

6。带有RNN的翻译

• 复习嵌入
• bleu公制
• 老师强迫
• 双向
• 注意力

7。带有变压器体系结构的翻译

• 变压器模型
• 多头关注
• 掩蔽
• 标签平滑

8。NLP中的偏见与道德规范

• 单词嵌入中的偏见
• 偏见的类型
• 注意经济
• 淹没在欺诈/虚假信息中

为什么这门课程以怪异的顺序教授？

本课程是通过自上而下的教学方法结构的，这与大多数数学课程的运作方式不同。通常，在自下而上的方法中，您首先学习将要使用的所有独立组件，然后逐渐将它们构建为更复杂的结构。这样做的问题是，学生经常失去动力，没有“大局”的感觉，并且不知道他们需要什么。

哈佛大学教授戴维·珀金斯（David Perkins）有一本书，使学习整体，其中他将棒球作为类比。我们不需要孩子在让我们玩游戏之前记住所有棒球规则，并了解所有技术细节。相反，他们开始对它的一般意识进行演奏，然后随着时间的流逝逐渐学习更多规则/细节。

如果您参加了Fast.ai深度学习课程，那就是我们使用的。您可以在这篇博客文章中听到有关我的教学理念的更多信息，或者我在旧金山机器学习聚会上发表的这一演讲。

可以说，如果您一开始不了解所有内容，请不要担心！你不应该。我们将开始使用一些“黑匣子”，然后稍后将深入介绍较低级别的详细信息。

首先，专注于事物的工作，而不是它们是什么。