character level language model

Sprachmodell der Charakterebene

Ein Sprachmodell ist dasjenige, bei dem ein Eingangssatz angegeben ist. Das Modell gibt eine Wahrscheinlichkeit, wie korrekt dieser Satz ist. Dies wird in großem Umfang bei Spracherkennung, Satzgenerierung und maschinellen Übersetzungssystemen verwendet, in denen es wahrscheinlich die wahrscheinlich sind.

Schritte zum Erstellen eines Sprachmodells:

1. Erstellen Sie ein Trainingssatz mit einem großen Korpus englischer Text
2. Tokenisieren Sie jeden Satz, um einen Wortschatz zu erstellen
3. Zeichnen Sie jedes Wort im Satz mit einem Codierungsmechanismus ab
4. Ersetzen Sie ungewöhnliche Wörter mit, in diesem Fall Modell die Wahrscheinlichkeit des unbekannten Wortes anstelle des spezifischen Wortes.
5. Erstellen Sie ein RNN -Modell, bei dem Ausgabe die Softmax -Wahrscheinlichkeit für jedes Wort im Wörterbuch ist

Training eines Sprachmodells

---

Zum Zeitschritt schätzt RNN P (y | y <1>, y <2>,…, y <t - 1>). Das Trainingssatz wird in einer Weise gebildet, in der x <2> = y <1> und x <3> = y <2> usw. usw. Kurz gesagt, der Ausgangssatz bleibt nach einem Zeitschritt hinter dem Eingangssatz zurück. Der folgende Optimierungsalgorithmus ist immer stochastischer Gradientenabstieg (jeweils eine Sequenz).

Um die Wahrscheinlichkeit für eine zufällige Sequenz zu erhalten, brechen Sie die gemeinsame Wahrscheinlichkeitsverteilung P (Y1, Y2, Y3, ...) als Produkt von Bedingungen ab, p (y1) * p (y2 | y1) * p (y3 | y1, y2).

Hinweis : Im Vanillesprachmodell, wie oben beschrieben, ist Word ein grundlegender Baustein. Im Sprachmodell der Charakterebene ist die Grundeinheit/ die niedrigste Ebene ein Charakter, wodurch das Erstellen eines Wörterbuchs sehr einfach ist (endliche Anzahl von Zeichen)

Neuen Text erstellen

---

Sobald das Modell trainiert ist, können wir neuen Text (Zeichen) probieren. Der Erzeugungsprozess wird unten erläutert:

Schritte:

1. Übergeben Sie das Netzwerk das erste "Dummy" -Intrag x⟨1⟩ = 0 ⃗ (der Vektor von Nullen). Dies ist die Standardeingabe, bevor wir Zeichen generiert haben. Wir setzen auch a⟨0⟩ = 0 ⃗
2. Verwenden Sie die vom RNN ausgegebenen Wahrscheinlichkeit
3. Übergeben Sie dieses ausgewählte Wort zum nächsten Zeitschritt als X <2>

Ergebnisse

---

Einige der generierten Namen:

1. Macaersaurus
2. Edahosaurus
3. Trodonosaurus
4. Ivusanon
5. Trocemites

Wenn Sie sorgfältig beobachten, hat unser Modell gelernt, saurus , don , aura , tor am Ende eines jeden Dinosauriernamens Todo zu erfassen: Verwenden Sie LSTM an Platz von RNNs mit Hilfe von Keras

DIY

---

Platzieren Sie die Trainingsdaten (Dinosauriernamen) an Ort von dinos.txt . Rennen Sie main.py , der 3 Schritte folgt:

1. Vorverarbeitung der Daten
2. Aufbau eines Wortschatzes
3. Führen Sie das Modell aus

Führen Sie python main.py aus, um die Namen außerhalb des Boxs zu generieren.

Referenzen

---

1. Inspiriert von der Umsetzung von Andrej Karpathy
2. Karpathys Blog -Beitrag