course nlp

自然語言處理的代碼優先介紹

您可以在此博客文章中找到有關該課程的信息，並且所有講座視頻都可以在此處找到。

該課程最初是在2019年夏季舊金山大學數據科學計劃碩士學位上教授的。該課程使用jupyter Notebooks在Python中教授，使用Sklearn，NLTK，Pytorch和Fastai等圖書館。

目錄

將涵蓋以下主題：

1。什麼是NLP？

• 一個變化的字段
• 資源
• 工具
• Python圖書館
• 示例應用程序
• 道德問題

2。使用NMF和SVD進行主題建模

• 停止單詞，莖和lemmatization
• 術語文檔矩陣
• 主題頻率段文檔頻率（TF-IDF）
• 奇異值分解（SVD）
• 非負基質分解（NMF）
• 截短的SVD，隨機SVD

3。與天真的貝葉斯，邏輯回歸和ngrams的情感分類

• 稀疏矩陣存儲
• 櫃檯
• Fastai圖書館
• 天真的貝葉斯
• 邏輯回歸
• ngrams
• 帶有幼稚貝葉斯特徵的邏輯回歸，帶有trigrams

4。

5。用深度學習的語言建模和情感分類

• 語言模型
• 轉移學習
• 情感分類

6。帶有RNN的翻譯

• 複習嵌入
• bleu公制
• 老師強迫
• 雙向
• 注意力

7。帶有變壓器體系結構的翻譯

• 變壓器模型
• 多頭關注
• 掩蔽
• 標籤平滑

8。 NLP中的偏見與道德規範

• 單詞嵌入中的偏見
• 偏見的類型
• 注意經濟
• 淹沒在欺詐/虛假信息中

為什麼這門課程以怪異的順序教授？

本課程是通過自上而下的教學方法結構的，這與大多數數學課程的運作方式不同。通常，在自下而上的方法中，您首先學習將要使用的所有獨立組件，然後逐漸將它們構建為更複雜的結構。這樣做的問題是，學生經常失去動力，沒有“大局”的感覺，並且不知道他們需要什麼。

哈佛大學教授戴維·珀金斯（David Perkins）有一本書，使學習整體，其中他將棒球作為類比。我們不需要孩子在讓我們玩遊戲之前記住所有棒球規則，並了解所有技術細節。相反，他們開始對它的一般意識進行演奏，然後隨著時間的流逝逐漸學習更多規則/細節。

如果您參加了Fast.ai深度學習課程，那就是我們使用的。您可以在這篇博客文章中聽到有關我的教學理念的更多信息，或者我在舊金山機器學習聚會上發表的這一演講。

可以說，如果您一開始不了解所有內容，請不要擔心！你不應該。我們將開始使用一些“黑匣子”，然後稍後將深入介紹較低級別的詳細信息。

首先，專注於事物的工作，而不是它們是什麼。