nlp_overview

Moderne Deep -Lern -Techniken, die auf die Verarbeitung natürlicher Sprache angewendet werden

Dieses Projekt enthält einen Überblick über die jüngsten Trends in der Deep Learning -basierten natürlichen Sprachverarbeitung (NLP). Es deckt die theoretischen Beschreibungen und Implementierungsdetails hinter Deep Learning -Modellen wie wiederkehrenden neuronalen Netzwerken (RNNs), Faltungsnetzwerken (CNNs) und Verstärkungslernen ab, die zur Lösung verschiedener NLP -Aufgaben und -anwendungen verwendet werden. Der Überblick enthält auch eine Zusammenfassung der Kunstergebnisse für NLP -Aufgaben wie maschinelle Übersetzung , Fragenbeantwortung und Dialogsysteme . Die Lernressource finden Sie unter der folgenden Adresse: https://nlpoverview.com/. Eine Momentaufnahme der Website finden Sie unten:

Über dieses Projekt

Die Hauptmotivationen für dieses Projekt sind wie folgt:

• Führen Sie eine aktuelle Lernressource bei, die wichtige Informationen zur NLP-Forschung integriert, z. B.:
  • hochmoderne Ergebnisse
  • aufkommende Konzepte und Anwendungen
  • Neue Benchmark -Datensätze
  • Code/Datensatzveröffentlichungen
  • usw.
• Erstellen Sie eine freundliche und offene Ressource, mit der Forscher und alle, die daran interessiert sind, sich über moderne Techniken zu informieren, die auf NLP angewendet werden
• Ein kollaboratives Projekt, bei dem Expertenforscher Änderungen vorschlagen können (z.

Inhaltsverzeichnis

• Einführung
• Verteilte Darstellung
  • Worteinbettungen
  • Word2Vec
  • Charakter -Einbettungen
  • Kontextualisierte Worteinbettungen
• Faltungsnetzwerke
  • Basic CNN
    • Satzmodellierung
    • Fensteransatz
  • Anwendungen
• Wiederkehrende neuronale Netzwerke
  • Notwendigkeit für wiederkehrende Netzwerke
  • RNN -Modelle
    • Einfacher RNN
    • Langes Kurzzeitgedächtnis
    • Wiederkehrende wiederholte Einheiten
  • Anwendungen
    • RNN für die Klassifizierung auf Wortebene
    • RNN für die Klassifizierung auf Satzebene
    • RNN zur Erzeugung der Sprache
  • Aufmerksamkeitsmechanismus
  • Parallelisierte Aufmerksamkeit: der Transformator
• Rekursive neuronale Netzwerke
  • Grundmodell
• Tiefe verstärkte Modelle und tiefes unbeaufsichtigtes Lernen
  • Verstärkungslernen für die Sequenzgenerierung
  • Lernen von unbeaufsichtigter Satzrepräsentation
  • Tiefe generative Modelle
• Speicherverbindliche Netzwerke
• Leistung verschiedener Modelle bei verschiedenen NLP -Aufgaben
  • POS -Tagging
  • Parsing
  • Anerkennung mit benannter Entfaltung
  • Semantische Rollenkennzeichnung
  • Stimmungsklassifizierung
  • Maschinelle Übersetzung
  • Frage Beantwortung
  • Dialogsysteme
  • Kontextualisierte Einbettungen

Wie kann man einen Beitrag leisten?

Es gibt verschiedene Möglichkeiten, zu diesem Projekt beizutragen.

• Der schnellste Weg, um einen Text zu bearbeiten oder hinzuzufügen, ist wie folgt: fork das Repo, durchsuchen Sie das entsprechende chapter und klicken Sie dann auf die Schaltfläche edit , um Ihre Informationen hinzuzufügen. Das Bild unten zeigt die letzten zwei Schritte, nachdem Sie das Repo gegabelt haben. Sie können dann eine Pull -Anfrage einreichen und wir werden entsprechend genehmigen. Wenn Sie einen riesigen Teil des Projekts ändern oder sogar ein Kapitel hinzufügen möchten, empfehlen wir, den Abschnitt "Build site locally" unten anzusehen.

• Sie können auch Textabzüge in diesem öffentlichen gemeinsam genutzten Dokument vorschlagen, wenn Sie mit git nicht vertraut sind. Wir werden helfen, den Inhalt zu bearbeiten und zu überarbeiten und Ihnen dann weiter dabei zu helfen, die Beiträge zum Projekt aufzunehmen.
• Weitere Möglichkeiten, wie Sie Ihnen helfen können, finden Sie im Abschnitt "Ausgabe".
• Oder Sie können Vorschläge machen, indem Sie ein neues Problem einreichen. Detailliertere Anweisungen kommen in Kürze.

Baustelle lokal erstellen

Wenn Sie vorhaben, einen Aspekt der Website (z. B. Abschnitt oder Stil hinzuzufügen) zu ändern und sie vor Ort auf Ihrem Computer voranzutreiben, empfehlen wir Ihnen, die Website mit jekyll lokal zu erstellen und auszuführen. Hier sind die Anweisungen:

• Überprüfen Sie zunächst, dass Ruby 2.1.0 oder höher auf Ihrem Computer installiert ist. Sie können mit dem Befehl ruby --version überprüfen. Wenn nicht, installieren Sie es bitte mit den hier angegebenen Anweisungen.
• Nachdem Sie sichergestellt haben, dass Ruby installiert ist, installieren Sie Bundler mit gem install bundler .
• Klon dieses Repo lokal: git clone https://github.com/omarsar/nlp_overview.git
• Navigieren Sie mit cd nlp_overview zum Repo -Ordner
• Installieren Sie Jekyll: bundle install
• Führen Sie die Jekyll -Site lokal aus: bundle exec jekyll serve
• Vorschau -Site auf dem Browser unter http://localhost:4000

Wartung

Dieses Projekt wird von Elvis Saravia und Soujanya Poria gepflegt. Sie können mich auch auf Twitter finden, wenn Sie direkte Kommentare oder Fragen haben. Ein wesentlicher Teil dieses Projekts wurde direkt aus der Arbeit von Young et al. (2017). Wir sind den Autoren dankbar.