course nlp

Ein Code-First-Intro in die Verarbeitung natürlicher Sprache

In diesem Blog -Beitrag erfahren Sie den Kurs und alle Vorlesungsvideos finden Sie hier.

Dieser Kurs wurde ursprünglich in der University of San Francisco Masters of Science in Data Science, Sommer 2019, unterrichtet. Der Kurs wird in Python mit Jupyter -Notizbüchern unter Verwendung von Bibliotheken wie Sklearn, NLTK, Pytorch und Fastai unterrichtet.

Inhaltsverzeichnis

Die folgenden Themen werden abgedeckt:

1. Was ist NLP?

• Ein sich ändernder Feld
• Ressourcen
• Werkzeuge
• Python -Bibliotheken
• Beispielanwendungen
• Ethikfragen

2. Themenmodellierung mit NMF und SVD

• Stoppen Sie Wörter, Stamm und Lemmatisierung
• Termdokumentmatrix
• Themenfrequenz-Inverse-Dokumentfrequenz (TF-IDF)
• Singular Value Decomposition (SVD)
• Nicht negative Matrixfaktorisierung (NMF)
• Verkürztes SVD, randomisierte SVD

3. Klassifizierung der Stimmung mit naiver Bayes, logistischer Regression und Ngrams

• Spärlicher Matrixspeicher
• Zähler
• Die Fastai -Bibliothek
• Naive Bayes
• Logistische Regression
• Ngrams
• Logistische Regression mit naiven Bayes -Merkmalen mit Trigramme

4. Regex (und Wiederaufnahme der Tokenisierung)

5. Sprachmodellierung und Sentiment -Klassifizierung mit tiefem Lernen

• Sprachmodell
• Übertragungslernen
• Stimmungsklassifizierung

6. Übersetzung mit RNNs

• Überprüfung Einbettungen
• Bleu Metrik
• Lehrer erzwingen
• Bidirektional
• Aufmerksamkeit

7. Übersetzung mit der Transformer -Architektur

• Transformatormodell
• Multi-Head-Aufmerksamkeit
• Maskierung
• Etikettierung der Glättung

8. Bias & Ethik in NLP

• Voreingenommenheit in Wortbettendings
• Arten von Voreingenommenheit
• Aufmerksamkeitswirtschaft
• Ertrinken in betrügerischen/gefälschten Informationen

Warum wird dieser Kurs in seltsamer Reihenfolge unterrichtet?

Dieser Kurs ist mit einer Top-Down -Lehrmethode strukturiert, die sich von der Art und Weise unterscheidet, wie die meisten Mathematikkurse funktionieren. In einem Bottom-up -Ansatz lernen Sie zuerst alle separaten Komponenten, die Sie verwenden, und bauen sie dann allmählich in komplexere Strukturen auf. Das Problem dabei ist, dass die Schüler oft Motivation verlieren, kein Gefühl für das "Gesamtbild" haben und nicht wissen, was sie brauchen werden.

Harvard Professor David Perkins hat ein Buch, in dem das Lernen ganz gelernt wird, in dem er Baseball als Analogie verwendet. Wir verlangen nicht, dass Kinder alle Regeln des Baseballs auswendig lernen und alle technischen Details verstehen, bevor wir das Spiel spielen lassen. Vielmehr spielen sie mit einem gerechten Gespür dafür und lernen dann im Laufe der Zeit nach und nach mehr Regeln/Details.

Wenn Sie den Kurs zum Deep -Learn -Kurs von Fast.ai genommen haben, dann haben wir das verwendet. Sie können mehr über meine Lehrphilosophie in diesem Blog -Beitrag oder in diesem Vortrag erfahren, das ich beim San Francisco Machine Learning Meetup gehalten habe.

All das zu sagen, mach dir keine Sorgen, wenn du zuerst nicht alles verstehst! Du sollst nicht. Wir werden einige "schwarze Kästchen" verwenden und dann später in die Details der unteren Ebene eingraben.

Konzentrieren Sie sich zunächst darauf, was Dinge tun, nicht auf das, was sie sind.