lectures
1.0.0
Dieses Repository enthält die Vorlesungsfolien und die Kursbeschreibung für den in Hilary Term 2017 an der Universität von Oxford angebotenen Deep Natural Language Processing -Kurs.
Dies ist ein fortgeschrittener Kurs zur Verarbeitung natürlicher Sprache. Die automatische Verarbeitung von natürlichen Spracheingaben und die Erzeugung von Sprachausgaben ist eine Schlüsselkomponente der künstlichen allgemeinen Intelligenz. Die Unklarheiten und das Rauschen, das der menschlichen Kommunikation innewohnt, machen traditionelle symbolische KI -Techniken unwirksam, um Sprachdaten darzustellen und zu analysieren. Jüngste statistische Techniken, die auf neuronalen Netzwerken basieren
Dies ist ein angewandter Kurs, der sich auf die jüngsten Fortschritte bei der Analyse und Generierung von Sprache und Text unter Verwendung wiederkehrender neuronaler Netzwerke konzentriert. Wir stellen die mathematischen Definitionen der relevanten Modelle für maschinelles Lernen ein und leiten ihre zugehörigen Optimierungsalgorithmen ab. Der Kurs deckt eine Reihe von Anwendungen neuronaler Netzwerke in NLP ab, einschließlich der Analyse der latenten Dimensionen im Text, der Transkription von Sprache zum Text, der Übersetzung zwischen Sprachen und Beantwortung von Fragen. Diese Themen sind in drei hochstufige Themen organisiert, die einen Fortschritt vom Verständnis der Verwendung neuronaler Netzwerke für die sequentielle Sprachmodellierung zum Verständnis ihrer Verwendung als bedingte Sprachmodelle für Transduktionsaufgaben und schließlich an Ansätze, die diese Techniken in Kombination mit anderen Mechanismen für fortgeschrittene Anwendungen anwenden. Während des gesamten Kurses wird auch die praktische Implementierung solcher Modelle auf CPU und GPU -Hardware erörtert.
Dieser Kurs wird von Phil Blunsom organisiert und in Zusammenarbeit mit der DeepMind Natural Language Research Group.
Öffentliche Vorträge finden dienstags und donnerstags (außer Woche 8), 16: 00-18: 00 (Hilary-Amtszeit Weeks 1,3-8), im Hörwesen 1 des Maths Institute.
Diese Vorlesung führt den Kurs ein und motiviert, warum es interessant ist, die Sprachverarbeitung mit Deep -Lern -Techniken zu studieren.
[Folien] [Video]
Diese Vorlesung überarbeitet grundlegende Konzepte für maschinelles Lernen, die die Schüler kennen sollten, bevor sie sich auf diesen Kurs befassen.
[Folien] [Video]
Wörter sind die Kernbedeutung, die sich in der Sprache befinden. Die Darstellung und Lernen der Bedeutungen von Wörtern ist eine grundlegende Aufgabe in NLP. In dieser Vorlesung wird das Konzept einer Worteinbettung als praktische und skalierbare Lösung eingeführt.
[Folien] [Video]
Dieser Vortrag motiviert das praktische Segment des Kurses.
[Folien] [Video]
Sprachmodellierung ist eine wichtige Aufgabe für einen hervorragenden praktischen Einsatz in vielen NLP -Anwendungen. In dieser Vorlesung werden Sprachmodellierung eingeführt, einschließlich traditioneller n-grammbasierter Ansätze und zeitgenössischerer neuronaler Ansätze. Insbesondere das Sprachmodell für das Volksmodell für das Rezidivieren des neuronalen Netzwerks (RNN) wird eingeführt und seine Grundausbildungs- und Bewertungsalgorithmen beschrieben.
[Folien] [Video]
Diese Vorlesung wird von der vorherigen fortgesetzt und berücksichtigt einige der Probleme, die an der Erstellung einer effektiven Implementierung eines RNN -Sprachmodells beteiligt sind. Das Problem mit verschwindender und explodierender Gradienten wird beschrieben und architektonische Lösungen wie Long Short -Time Memory (LSTM) werden eingeführt.
[Folien] [Video]
In dieser Vorlesung werden die Textklassifizierung erörtert, beginnend mit grundlegenden Klassifikatoren wie naiven Bayes und durch die Durchführung von RNNs und Faltungsnetzwerken.
[Folien] [Video]
Diese Vorlesung führt grafische Verarbeitungseinheiten (GPUs) als Alternative zu CPUs zur Ausführung von tiefen Lernalgorithmen ein. Die Stärken und Schwächen von GPUs werden sowohl diskutiert als auch die Bedeutung des Verständnisses, wie die Speicherbandbreite und die Berechnungsdurchsatz für RNNs beeinflussen.
[Folien] [Video]
In dieser Vorlesung erweitern wir das Konzept der Sprachmodellierung, um frühere Informationen einzubeziehen. Durch die Konditionierung eines RNN -Sprachmodells für eine Eingabedarstellung können wir kontextuell relevante Sprache erzeugen. Diese sehr allgemeine Idee kann auf Transduce -Sequenzen in neue Sequenzen für Aufgaben wie Übersetzung und Zusammenfassung oder Bilder in Bildunterschriften angewendet werden, die ihren Inhalt beschreiben.
[Folien] [Video]
Dieser Vortrag führt einen der wichtigsten und influenzischsten Mechanismen in tiefen neuronalen Netzwerken ein: Aufmerksamkeit. Die Aufmerksamkeit erhöht wiederkehrende Netzwerke mit der Fähigkeit, in bestimmten Teilen der Eingabe zuzustimmen, und sind der Schlüssel zur hohen Leistung bei Aufgaben wie maschineller Übersetzung und Bildunterschrift.
[Folien] [Video]
Die automatische Spracherkennung (ASR) ist die Aufgabe, Roh -Audio -Signale der gesprochenen Sprache in Texttranskriptionen zu übertragen. Dieser Vortrag deckt die Geschichte von ASR -Modellen ab, von Gaußschen Gemischen bis hin zu Aufmerksamkeitsvergrößerung von RNNs, der grundlegenden Sprachwissenschaft und den häufig verwendeten Eingabe- und Ausgangsdarstellungen.
[Folien] [Video]
In dieser Vorlesung werden Algorithmen für die Konvertierung der geschriebenen Sprache in die gesprochene Sprache (Text zur Sprache) eingeführt. TTS ist der inverse Prozess zu ASR, aber es gibt einige wichtige Unterschiede in den angewandten Modellen. Hier überprüfen wir traditionelle TTS -Modelle und decken dann neuere neuronale Ansätze wie das Wellenetmodell von DeepMind ab.
[Folien] [Video]
[Folien] [Video]
[Folien] [Video]
[Folien] [Video]
Wir werden Piazza verwenden, um die Klassendiskussion während des Kurses zu erleichtern. Anstatt Fragen direkt zu senden, empfehle ich Sie, Ihre Fragen zu Piazza zu veröffentlichen, um von Ihren Kommilitonen, Ausbildern und Dozenten beantwortet zu werden. Bitte beachten Sie jedoch, dass alle Dozenten für diesen Kurs ihre Zeit freiwilligen und möglicherweise nicht immer verfügbar sind, um eine Antwort zu geben.
Finden Sie unsere Klassenseite unter: https://piazza.com/ox.ac.uk/winter2017/dnlpht2017/home
Die primäre Einschätzung für diesen Kurs wird eine zum Ende des Laufzeit erteilte Auftrags zum Mitnehmen sein. Diese Aufgabe stellt Fragen, die sich auf die im Kurs diskutierten Konzepte und Modelle sowie aus ausgewählten Forschungsveröffentlichungen stützen. Die Art der Fragen umfasst die Analyse mathematischer Beschreibungen von Modellen und Vorschläge von Erweiterungen, Verbesserungen oder Bewertungen für solche Modelle. Die Aufgabe kann auch die Schüler auffordern, bestimmte Forschungsveröffentlichungen zu lesen und ihre vorgeschlagenen Algorithmen im Kontext des Kurses zu erörtern. Bei der Beantwortung von Fragen wird von den von den von den Schülern erwartet, dass sie sowohl kohärente schriftliche Argumente präsentieren als auch entsprechende mathematische Formeln und möglicherweise Pseudo-Code, um Antworten zu veranschaulichen.
Die praktische Komponente des Kurses wird auf die übliche Weise bewertet.
Dieser Kurs wäre ohne die Unterstützung von DeepMind, dem Abteilung für Informatik der Universität von Oxford, Nvidia, und der großzügigen Spende von GPU -Ressourcen von Microsoft Azure nicht möglich gewesen.
