gpt2 text generation

GPT2-Text-Generation

Feinabstimmung und Text-Generation mit OpenAIs GPT-2 auf Blog-Datensatz von https://trustmeyourealive.wordpress.com/.

content-extraction : Extrahieren von Blog-Daten mithilfe von WordPress-API

dataset : Zug, Validierung, Testdatensätze aus extrahierten Inhalten

prepare_data.ipynb : Bereiten Sie Daten in den Zug vor, gültig, testen Sie Dateien

text_generation.ipyb : Fein-Tune-GPT-2 auf vorbereiteten Zugset und Textgenerierung

Datensatzdetails:

Gesamtstoken: 246446 (76 Artikel)
Wortschatz: 50260
Trainingset (nach Linie): 2752

Codedateien in transformers , die nach dem Klonen ersetzt werden müssen: run_generation.py und run_language_modeling.py (Anweisungen in text_generation.ipynb)

Erzeugte Sequenzen

Ehrlich gesagt bin ich in Ehrfurcht/Schock - diese Sequenzen klingen wirklich wie ich, und ich bin ziemlich erleichtert, GPT -3 war (noch) nicht offen.

1. Es ist der Moment, in dem Sie die größte Angst hinterlassen.
2. Bis zum Ende unseres Semesters sind noch Tage übrig - es ist Samstag.
3. Aber mein Bruder und ich kennen uns, wir wissen auch, dass er immer ein grünes T-Shirt und graue Jeans mit grünen Socken trägt, die einen halben Zoll unter seinem linken Oberschenkel bedecken.
4. Ich wollte schon immer ein Teil der Gesellschaft oder ein Teil der Menschen sein.
5. Es dauert weniger als 5 Minuten für eine Stunde (und manchmal sogar länger, wenn Sie das Haus verlassen).