nlp library

NLP-Bibliothek

Dies ist eine kuratierte Liste von Artikel, die ich in gewisser Weise begegnet habe und es wert ist, in die Bibliothek des NLP -Praktikers einzubeziehen. Einige Papiere erscheinen möglicherweise in mehreren Unterkategorien, wenn sie nicht einfach in eine der Kästchen passen.

PRs sind absolut willkommen! Richten Sie jede Korrespondenz/Fragen auf @mihail_eric.

Einige besondere Bezeichnungen für bestimmte Papiere:

Legende: Dies ist ein Game-Changer in der NLP-Literatur und einen Lesen wert.

? Ressource: In diesem Artikel werden einige Datensatz/Ressource eingeführt und kann daher für Anwendungszwecke nützlich sein.

SPEC-MAGGGING

• (2000) ein statistischer Tagger für den Speech
  • TLDR : Samenpapier, das einen leistungsstarken HMM-basierten POS-Tagger demonstriert. Viele Tipps und Tricks zum Aufbau solcher klassischen Systeme enthalten.
• (2003) Feature-Rich-Speech-Tagging mit einem zyklischen Abhängigkeitsnetzwerk
  • TLDR : Schlägt eine Reihe leistungsstarker sprachlicher Merkmale für den Bau eines (damals) SOTA-POS-Tagging-Systems vor
• (2015) Bidirektionale LSTM-CRF-Modelle für das Sequenz-Tagging
  • TLDR : Schlägt ein Elementsequenzmarkierungsmodell vor, das neuronale Netzwerke mit bedingten Zufallsfeldern kombiniert, SOTA in POS-Taging, Ner und Chunking erreicht.

Parsing

• (2003) genaue unlexikalisierte Parsen
  • TLDR : Schönes Papier, das demonstriert, dass unlexikalisierte probabilistische Kontext -freie Grammatiken die Leistung von lexikalisierten PCFGs überschreiten können.
• (2006) Lernen genaues, kompaktes und interpretierbares Baumanschlag lernen
  • TLDR : Faszinierendes Ergebnis zeigt, dass Sie mithilfe der Erwartungsmaximierung automatisch genaue und kompakte latente, nicht terminale Symbole für die Baumannotation lernen können und SOTA erreichen können.
• (2014) Ein schneller und genauer Abhängigkeits -Parser, der neuronale Netze verwendet
  • TLDR : Sehr wichtige Arbeiten in einer neuen Welle neuronaler netzwerkbasierter Parsing-Architekturen, Erreichung von SOTA-Leistung sowie lodernden Parsing-Geschwindigkeiten.
• (2014) Grammatik als Fremdsprache
  • TLDR : Eine der frühesten Demonstrationen der Wirksamkeit von SEQ2SEQ -Architekturen mit Aufmerksamkeit auf das Parsen des Wahlkreises und SOTA auf dem WSJ -Korpus. Zeigte auch die Bedeutung der Datenerweiterung für die Parsingaufgabe.
• (2015) Übergangsbasiert
  • TLDR : präsentiert Stack LSTMS, einen neuronalen Parser, der die traditionellen Push-Pop-Operationen von Übergangsabhängigkeits-Parsers erfolgreich durcheinander bringen, in dem Prozess SOTA.

Genannte Entitätserkennung

• (2005) Einbeziehung nicht lokaler Informationen in Informationsextraktionssysteme durch Gibbs-Stichproben
  • TLDR : Verwenden cooler Monte -Carlo -Methoden in Kombination mit einem bedingten Zufallsfeldmodell erreicht diese Arbeit eine enorme Fehlerverringerung bestimmter Benchmarks für Informationsextraktion.
• (2015) Bidirektionale LSTM-CRF-Modelle für das Sequenz-Tagging
  • TLDR : Schlägt ein Elementsequenzmarkierungsmodell vor, das neuronale Netzwerke mit bedingten Zufallsfeldern kombiniert, SOTA in POS-Taging, Ner und Chunking erreicht.

Koreferenzauflösung

• (2010) ein mehrpassiges Sieb für die Coreference-Auflösung
  • TLDR : schlägt einen siebbasierten Ansatz zur Coreference-Auflösung vor, der viele Jahre lang (bis Deep Learning Ansatz) SOTA war.
• (2015) Entitäts-zentrierte Kernerferenzauflösung mit Modellstapel
  • TLDR : Diese Arbeit bietet einen raffinierten Ansatz zum Aufbau von Merkmalen auf Entitätsebene iterativ, iterativ.
• (2016) Verbesserung der Korferenzauflösung durch verteilte Darstellungen auf Lernentitätsebene auf
  • TLDR : Einer der frühesten effektiven Ansätze zur Verwendung neuronaler Netzwerke für die Auflösung der Kerneferenz, die den SOTA erheblich übertrifft.

Stimmungsanalyse

• (2012) Baselines und Bigrams: Einfach, gute Stimmung und Themenklassifizierung

  • TLDR : Sehr elegantes Papier, das veranschaulicht, dass einfache naive Bayes -Modelle mit BigRam -Funktionen ausgefeiltere Methoden wie Support -Vektor -Maschinen bei Aufgaben wie Stimmungsanalyse übertreffen können.

• (2013) rekursive tiefe Modelle für semantische Kompositionalität über eine Sentimentbaumbank?

  • TLDR : Fördert die Stanford Sentiment Treebank, eine wundervolle Ressource für gutkörnige Annotation für Sätze. Stellt auch das rekursive neuronale Tensor-Netzwerk ein, eine ordentliche sprachlich motivierte Deep-Learning-Architektur.

• (2014) Verteilte Darstellungen von Sätzen und Dokumenten

  • TLDR : Einführt Absätze ein unbeaufsichtigter Absatz, das feste Darstellungen von Absätzen lernt und Ideen verwendet, die von Word2Vec inspiriert sind. Erreicht dann SOTA über die Sentiment -Analyse auf Stanford Sentiment Treebank und im IMDB -Datensatz.

• (2019) unbeaufsichtigte Datenvergrößerung für die Konsistenzschulung

  • TLDR : Fördert eine unbeaufsichtigte Datenvergrößerung , eine Methode für ein effizientes Training an einer kleinen Anzahl von Schulungsbeispielen. Das Papier wendet UDA auf das IMDB -Sentiment -Analyse -Datensatz an und erreicht SOTA nur 30 Schulungsbeispiele.

Natürliche Logik/Inferenz

• (2007) Natürliche Logik für textuelle Inferenz
  • TLDR : schlägt einen strengen logikbasierten Ansatz für das Problem der textuellen Inferenz vor, die als natürliche Logik bezeichnet wird. Sehr coole mathematisch motivierte Transformationen werden verwendet, um die Beziehung zwischen Phrasen abzuleiten.
• (2008) ein erweitertes Modell der natürlichen Logik
  • TLDR : Erweitert die frühere Arbeiten zur natürlichen Logik für Inferenz und addiert Phänomene wie semantischer Ausschluss und Implikativität, um den Prozess der Prämisse-Hypothese-Transformation zu verbessern.
• (2014) rekursive neuronale Netze können logische Semantik lernen
  • TLDR : zeigt, dass Deep -Learning -Architekturen wie neuronale Tensor -Netzwerke effektiv auf die Inferenz für natürliche Sprache angewendet werden können.
• (2015) Ein großer kommentierter Korpus zum Erlernen der Inferenz für natürliche Sprache?
  • TLDR : Fördert den Stanford Natural Language Inference Corpus, eine wundervolle NLI -Ressource, die um zwei Größenordnungen über frühere Datensätze größer wird.

Maschinelle Übersetzung

• (1993) Die Mathematik der statistischen maschinellen Übersetzung
  • TLDR : Stellt die IBM Machine Translationsmodelle vor, mehrere wegweisende Modelle in statistischer MT.
• (2002) BLEU: Eine Methode zur automatischen Bewertung der maschinellen Übersetzung?
  • TLDR : Schlägt Bleu vor, die Defacto -Bewertungstechnik, die für die maschinelle Übersetzung verwendet wird (noch heute!)
• (2003) statistische Phrase-basierte Übersetzung
  • TLDR : Fördert ein Phrase-basierter Translationsmodell für MT, der eine nette Analyse durchführt, die zeigt, warum auf Phrasenbasis modelle wortbasierte Modelle übertreffen.
• (2014) Sequenz zum Sequenzlernen mit neuronalen Netzwerken
  • TLDR : Stellt die Sequenz-zu-Sequenz-Architektur für neuronale Netzwerke vor. Während es in diesem Artikel nur für MT angewendet wird, ist es seitdem zu einer der Eckpfeiler der modernen Verarbeitung der natürlichen Sprache geworden.
• (2015) Übersetzung neuronaler Maschinen, indem sie gemeinsam lernen, sich auszurichten und zu übersetzen
  • TLDR : Erweitert frühere Sequenz-zu-Sequenz-Architekturen für MT mithilfe des Aufmerksamkeitsmechanismus, einem leistungsstarken Werkzeug, um ein Zielwort sanft nach wichtigem Signal aus dem Quellsatz zu suchen.
• (2015) Effektive Ansätze für aufmerksamkeitsbasierte neuronale Maschinenübersetzung
  • TLDR : Stellt zwei neue Aufmerksamkeitsmechanismen für MT ein, wobei sie SOTA über bestehende neuronale MT -Systeme erreichen.
• (2016) Neuronale maschinelle Übersetzung seltener Wörter mit Subword -Einheiten
  • TLDR : Einführt die Bytepaar-Kodierung, eine wirksame Technik, mit der neuronale MT-Systeme (mehr) Open-Vocabulary-Übersetzungen umgehen können.
• (2016) zeigen die unbekannten Wörter
  • TLDR : schlägt einen Kopiermechanismus vor, mit dem MT-Systeme Wörter effektiver aus einer Quellkontextsequenz kopieren können.
• (2016) Googles neuronales maschinelles Übersetzungssystem: Überbrückung der Lücke zwischen menschlicher und maschineller Übersetzung
  • TLDR : Eine wundervolle Fallstudie, die demonstriert, wie ein maschinelles Übersetzungssystem für Produktionskapazitäten (in diesem Fall der von Google) aussieht.

Semantische Parsen

• (2013) Semantische Parsen für Werbeköpfe von Fragen-Antwortenpaaren?
  • TLDR : Schlägt eine elegante Technik für die semantische Parsen vor, die direkt aus Fragen-Antwortenpaaren lernt, ohne dass annotierte logische Formen erforderlich sind, damit das System bis zur Werbekala skalieren kann.
• (2014) Semantisches Paraphrasing Semantic Paraphrasing
  • TLDR : Entwickelt ein einzigartiges Paraphrase-Modell zum Erlernen geeigneter logischer Kandidatenformen aus Fragen-Antwortenpaaren, wodurch SOTA auf vorhandenen Q/A-Datensätzen verbessert wird.
• (2015) über Nacht einen semantischen Parser bauen?
  • TLDR : Nute Papier zeigt, dass ein semantischer Parser von Grund auf neu gebaut werden kann, ohne Trainingsbeispiele!
• (2015) Zusammenführen maschinelles Lernen und Computersemantik zusammen
  • TLDR : Ein netter Überblick über einen Rahmen für Computersemantik, das maschinelles Lernen verwendet, um logische Formen für die semantische Parsen effektiv zu lernen.

Frage Beantwortung/Leseverständnis

• (2016) Eine gründliche Prüfung der CNN/Daily Mail -Leseverständnisaufgabe

  • TLDR : Ein großartiges Weckrufpapier, das zeigt, dass die SOTA-Leistung in bestimmten Leseverständnisdatensätzen mit einfachen Systemen mit sorgfältig ausgewählten Funktionen erzielt werden kann. Vergessen Sie nicht tiefe Lernmethoden!

• (2017) Kader: Über 100.000 Fragen zum Maschinenverständnis des Textes?

  • TLDR : Stellt den Squad-Datensatz vor, ein Fragestands-Korpus, der zu einem der heute verwendeten Defacto-Benchmarks geworden ist.

• (2019) Schauen Sie, bevor Sie hüpfen: Konversationsfragebedüterung über Wissensgrafiken mit einer vernünftigen Kontextausdehnung

  • TLDR : Stellt eine unbeaufsichtigte Methode ein, die unvollständige Fragen über den Wissensgraphen beantworten kann, indem sie den Konversationskontext mithilfe von Entitäten und Prädikaten beibehalten und automatisch fehlende oder mehrdeutige Teile für Follow-up-Fragen schließen.

• (2019) Lernen, Argumentationspfade über die Wikipedia -Graph für die Beantwortung von Fragen abzurufen

  • TLDR : Stellt einen neuen graphbasierten wiederkehrenden Abrufansatz ein, der Argumentationspfade über das Wikipedia-Diagramm abholt, um Fragen zu Multi-Hop-Fragen zu beantworten.

• (2019) Abduktionskontrolle Argumentation

  • TLDR : Fördert einen Datensatz und konzipiert zwei neue Aufgaben für abduktives Denken: Abduktionskontrollinferenz und abduktive Erzeugung der natürlichen Sprache.

• (2020) Differenzierbares Denken über eine virtuelle Wissensbasis

  • TLDR : Stellt ein neuronales Modul für die Beantwortung von Multi-Hop-Fragen vor, das differenzierbar ist und End-to-End-Ausbildung geschult werden kann.

• .

  • TLDR : präsentiert einen Ansatz zur Beantwortung der Fragen zur Beantwortung der offenen Domäne

• .

  • TLDR : präsentiert einen zersetzten Transformator, der die vollständige Selbstbekämpfung durch fragweite und passende Selbstattertentionen in den unteren Schichten ersetzt und die Laufzeit des Laufzeit verringert.

• .

  • TLDR : Vorläuft eine einfache, schnelle und unbeaufsichtigte iterative iterative Evidenz-Abrufmethode zur Beantwortung von Fragen zur Multi-Hop-Frage.

• .

  • TLDR : präsentiert den Ansatz, um in semi-autoregressiven Fragen mit zwei Diagrammen auf der Grundlage von Passagen und Antworten Fragen zu generieren.

• (2020) Welche Frage die Beantwortung von Trivia Nerds lernen kann

  • TLDR : Es gibt Einblicke in die Frage, welche Fragen beantwortete Aufgabe aus Trivia -Turnieren lernen kann.

• (2020) Verbesserung der Multi-Hop-Fragen zur Beantwortung von Wissensgraphen mithilfe von Wissensbasis-Einbettungen

  • TLDR : Präsentiert einen Ansatz, der bei der Durchführung von Multi-Hop-KGQA über spärliche Wissensgrafiken wirksam ist.

Erzeugung/Zusammenfassung der natürlichen Sprache

• (2004) Rouge: Ein Paket zur automatischen Bewertung von Zusammenfassungen?
  • TLDR : FIRDECTE ROUGE, eine Bewertungsmetrik für die Zusammenfassung, die bis heute bei einer Vielzahl von Sequenztransduktionsaufgaben verwendet wird.
• (2004) Textrank: Bestellung in Texte einbringen
  • TLDR : Anwendung von draphbasierten Textanalysetechniken basierend auf PageRank erzielen die Autoren SOTA-Ergebnisse zur Keyword-Extraktion und eine sehr starke extraktive Zusammenfassung führt zu einer unbeaufsichtigten Weise.
• (2015) Semantisch konditionierte LSTM-basierte natürliche Sprache Generierung für gesprochene Dialogsysteme
  • TLDR : schlägt einen neuronalen Generator für natürliche Sprache vor, der die Satzplanung und die Oberflächenrealisierung gemeinsam optimiert und andere Systeme auf menschlicher Bewertung übertreffen.
• (2016) zeigen die unbekannten Wörter
  • TLDR : schlägt einen Kopiermechanismus vor, mit dem MT-Systeme Wörter effektiver aus einer Quellkontextsequenz kopieren können.
• (2017) Kommen Sie auf den Punkt: Zusammenfassung mit Zeigergenerator-Netzwerken
  • TLDR : Diese Arbeit bietet einen eleganten Mechanismus für weiche Kopien, der den SOTA bei der abstrakten Zusammenfassung drastisch übertrifft.
• (2020) Ein generatives Modell für das Verständnis und die Erzeugung des gemeinsamen natürlichen Sprachens
  • TLDR : Diese Arbeit präsentiert ein generatives Modell, das NLU und NLG durch eine gemeinsame latente Variable verhält
• (2020) BART: Denoising-Sequenz-zu-Sequenz-Vor-Training für die Erzeugung, Übersetzung und das Verständnis der natürlichen Sprache
  • TLDR : Diese Arbeit präsentiert ein generatives Modell, das NLU und NLG durch eine gemeinsame latente Variable koppelt und auf zwei Dialogdatensätzen mit flachen und baumstrukturierten formalen Darstellungen eine hochmoderne Leistung erzielt.

Dialogsysteme

• (2011) Erzeugung der Datenantriebsreaktion in sozialen Medien
  • TLDR : Schlägt vor, phrasenbasierte statistische maschinelle Übersetzungsmethoden zum Problem der Antwortgenerierung zu verwenden.
• (2015) Semantisch konditionierte LSTM-basierte natürliche Sprache Generierung für gesprochene Dialogsysteme
  • TLDR : schlägt einen neuronalen Generator für natürliche Sprache vor, der die Satzplanung und die Oberflächenrealisierung gemeinsam optimiert und andere Systeme auf menschlicher Bewertung übertreffen.
• (2016) Wie man Ihr Dialogsystem nicht bewertet: Eine empirische Untersuchung von unbeaufsichtigten Bewertungsmetriken für die Erzeugung der Dialogreaktion
  • TLDR : Wichtige Arbeiten, die zeigen, dass bestehende automatische Metriken, die für den Dialog verwendet werden, nicht gut mit dem menschlichen Urteilsvermögen korrelieren.
• (2016) ein netzwerk basierendes End-to-End-aufgabenorientierter Dialogsystem
  • TLDR : Schlägt eine nette Architektur für die Zerlegung eines Dialogsystems in eine Reihe von individuell ausgebildeten neuronalen Netzwerkkomponenten vor.
• (2016) Eine diversitätsfördernde Zielfunktion für neuronale Konversationsmodelle
  • TLDR : Fördert eine maximale Funktion der gegenseitigen Informationszielfunktion für Schulungsdialogsysteme.
• (2016) Die Challenge -Serie der Dialog State Tracking Challenge: Eine Rezension
  • TLDR : Ein netter Überblick über die Herausforderungen des Dialogstaates für Dialogsysteme.
• (2017) Eine von Kopien ausgestattete Sequenz-zu-Sequenz-Architektur bietet eine gute Leistung im aufgabenorientierten Dialog
  • TLDR : zeigt, dass einfache Sequenz-zu-Sequenz-Architekturen mit einem Kopienmechanismus wettbewerbsfähig in vorhandenen aufgabenorientierten Dialogdatensätzen abschneiden können.
• (2017) Schlüsselwert-Abrufnetzwerke für aufgabenorientierte Dialog?
  • TLDR : Stellt ein neues Multidomänen-Datensatz für aufgabenorientierte Datensatz sowie eine Architektur für sanftes Einbeziehen von Informationen aus strukturierten Wissensbasis in Dialogsysteme ein.
• (2017) Lernen symmetrischer kollaborativer Dialogagenten mit dynamischen Wissensgrafikbetten?
  • TLDR : Stellt ein neues kollaboratives Dialog -Datensatz sowie eine Architektur zur Darstellung strukturiertes Wissen über Wissensgrafik -Einbettungen vor.
• (2017) Hybrid-Code-Netzwerke: Praktische und effiziente End-to-End-Dialogkontrolle mit beaufsichtigtem und Verstärkungslernen
  • TLDR : Stellt eine hybride Dialogarchitektur vor, die gemeinsam über überwachtes Lernen sowie durch Verstärkungslernen ausgebildet werden kann, und kombiniert neuronale Netzwerktechniken mit feinkörnigen regelbasierten Ansätzen.

Interaktives Lernen

• (1971) Verfahren als Darstellung für Daten in einem Computerprogramm zum Verständnis der natürlichen Sprache
  • TLDR : Eine der wegweisenden Papiere in der Informatik mit SHRDLU, ein frühes System für Computer, die die Befehle menschlicher Sprache verstehen.
• (2016) Lernsprachspiele durch Interaktion lernen
  • TLDR : Stellt eine neuartige Einstellung für die Interaktion mit Computern ein, um eine Aufgabe zu erfüllen, bei der nur natürliche Sprache verwendet werden kann, um mit dem System zu kommunizieren!
• (2017) Einbürgerung einer Programmiersprache durch interaktives Lernen
  • TLDR : Sehr coole Arbeit, die es einer Community von Arbeitern ermöglicht, eine Sprache, die mit einem Kernsatz von Befehlen in einer interaktiven Aufgabe beginnt, iterativ eingebaut zu haben.

Sprachmodellierung

• (1996) Eine empirische Untersuchung von Glättungstechniken für die Sprachmodellierung
  • TLDR : Führen Sie eine umfangreiche Übersicht über Glättungstechniken in herkömmlichen Sprachmodellierungssystemen durch.
• (2003) Ein neuronales probabilistisches Sprachmodell
  • TLDR : Eine wegweisende Arbeit in Deep Learning for NLP, die eines der frühesten effektiven Modelle für die modellierte Modellierung auf neuronalem, netzwerkbasiertem Sprach vorstellt.
• (2014) Ein Milliarde Wort Benchmark für die Messung des Fortschritts in der statistischen Sprachmodellierung?
  • TLDR : Stellt die Google One -Milliarden -Wort -Sprachmodellierungsbenchmark vor.
• (2015) Charakter-bewusste Modelle neuronaler Sprache
  • TLDR : Schlägt ein Sprachmodell mit Faltungsnetzwerken vor, das Informationen auf Zeichenebene verwenden kann und die On-Par-LSTM-Systeme auf Word-Ebene durchführen können.
• (2016) Untersuchung der Grenzen der Sprachmodellierung
  • TLDR : Stellt ein Mega -Sprachmodellsystem ein, das Deep Learning verwendet, das eine Vielzahl von Techniken verwendet und die SOTA auf dem Benchmark von einer Milliarde Wörtern erheblich ausführt.
• (2018) Tiefe kontextualisierte Wortdarstellungen?
  • TLDR : In diesem Artikel wird Elmo vorgestellt, eine super mächtige Sammlung von Worteinbettungen, die aus den Zwischendarstellungen eines tiefen bidirektionalen LSTM -Sprachmodells gelernt werden. SOTA bei 6 verschiedenen NLP -Aufgaben erreicht.
• (2018) Bert: Vorausbildung von tiefen bidirektionalen Transformatoren für das Sprachverständnis
  • TLDR : Eine der wichtigsten Arbeiten des Jahres 2018, in der Bert eine leistungsstarke Architektur einführt, die unter Verwendung einer Sprachmodellierung vorgebracht wurde, die dann effektiv auf andere domänenspezifische Aufgaben übertragen wird.
• (2019) XLNET: Verallgemeinerte autoregressive Vorbereitung für das Sprachverständnis
  • TLDR : Verallgemeinerte autoregressive Vorabbaumethode, die Bert durch Maximierung der erwarteten Wahrscheinlichkeit über alle Permutationen der Faktorisierungsreihenfolge verbessert.

Verschiedenes

• (1997) langes Kurzzeitgedächtnis
  • TLDR : Stellt die LSTM Recurrent Unit vor, einen Eckpfeiler des modernen netzwerkbasierten NLP
• (2000) Maximale Entropie -Markov -Modelle zur Informationsextraktion und Segmentierung
  • TLDR : Stellt Markov -Entropie -Markov -Modelle zur Informationsextraktion vor, eine häufig verwendete ML -Technik in klassischer NLP.
• (2010) von der Häufigkeit bis zur Bedeutung: Vektorraummodelle der Semantik
  • TLDR : Eine wunderbare Übersicht über bestehende Vektor -Raummodelle zum Lernen von Semantik im Text.
• (2012) Eine Einführung in bedingte Zufallsfelder
  • TLDR : Ein schöner, eingehender Überblick über bedingte zufällige Felder, ein häufig verwendetes Sequenzmodell.
• (2013) Verteilte Darstellung von Wörtern und Phrasen und ihrer Kompositionalität
  • TLDR führte Word2VEC ein, eine Sammlung verteilter Vektordarstellungen, die häufig zur Initialisierung von Wortbettendings in jeder NLP -Architektur der letzten fünf Jahre verwendet wurden. ?
• (2014) Handschuh: Globale Vektoren für die Wortrepräsentation?
  • TLDR : Führen Sie Handschuhwort -Einbettungen ein, eines der am häufigsten verwendeten, vorbereiteten Word -Einbettungstechniken in allen Geschmacksrichtungen von NLP -Modellen
• (2014) Zählen Sie nicht, prognostizieren! Ein systematischer Vergleich der Kontextabzehnung im Vergleich zum Kontext-Vorbereitungssemantikvektoren
  • TLDR : Wichtiges Papier, das demonstriert, dass die kontextprobierenden Verteilungssemantik-Ansätze zählbasierte Techniken übertreffen.
• (2015) Verbesserung der Verteilungsähnlichkeit mit den Lehren, die aus Worteinbettungen gelernt wurden
  • TLDR : zeigt, dass herkömmliche Verteilungssemantik-Techniken mit bestimmten Designoptionen und Hyperparameteroptimierungen verbessert werden können, die ihre Leistung mit dem von neuronalen netzwerkbasierten Einbettungsmethoden mithalten.
• (2018) Allgemeine Sprachmodell Feinabstimmung für die Textklassifizierung
  • TLDR : Bietet eine Smorgasbord mit netten Techniken für Finetuning -Sprachmodelle, die effektiv auf Textklassifizierungsaufgaben übertragen werden können.
• (2019) Analogien erklärten: Auf dem Weg zum Verständnis von Worteinbettungen
  • TLDR : Sehr gute Arbeit, die einen mathematischen Formalismus zum Verständnis einiger der paraphrasierenden Eigenschaften moderner Worteinbettungen bietet.