gpt 2 Pytorch
1.0.0
Bessere Sprachmodelle und ihre Auswirkungen
Unser Modell mit dem Namen GPT-2 (ein Nachfolger von GPT) wurde einfach geschult, um das nächste Wort in 40 GB Internet-Text vorherzusagen. Aufgrund unserer Bedenken hinsichtlich böswilliger Anwendungen der Technologie geben wir das geschulte Modell nicht frei. Als Experiment zur verantwortungsvollen Offenlegung geben wir stattdessen ein viel kleineres Modell, mit dem Forscher experimentieren können, sowie ein technisches Papier. aus Openai Blog
Dieses Repository ist eine einfache Implementierung GPT-2 über Textgenerator in Pytorch mit Kompresscode
Das ursprüngliche Repertoire ist Openai/GPT-2. Sie können auch Papier über GPT-2 lesen, "Sprachmodelle sind unbeaufsichtigt Multitasking-Lernende". Um mehr Detailkonzept zu verstehen, empfehle ich Artikel zum Transformatormodell.
Gute Implementierung GPT-2 in Pytorch, auf die ich Bezug genommen habe.
Transformator (Selbstbekämpfung) Papier: Aufmerksamkeit ist alles, was Sie brauchen (2017)
Erstes OpenAI-GPT-Papier: Verbesserung des Sprachverständnisses durch generative Pre-Training (2018)
Siehe OpenAI-Blog über GPT-2 und Papier
$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "--text : Satz von Anfang an.--quiet : Drucken Sie nicht alle fremden Dinge wie das "================="--nsamples : Anzahl der in Stapel abgetasteten Stichproben, wenn die Multinomialfunktion verwendet wird--unconditional : Wenn wahr, bedingungslose Generation.--batch_size : Anzahl der Chargengröße--length : Satzlänge (<Anzahl von Kontext)--temperature : Die thermodynamische Temperatur in der Verteilung (default 0.7)--top_k : Gibt die obersten k größten Elemente des angegebenen Eingangstensors entlang einer bestimmten Dimension zurück. (default 40) Weitere Informationen zu temperature und top_k finden Sie hier
$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txtJeff Wu (@wuthefWasthat), Thomas Wolf (@Thomwolf) zur Erlaubnis des Verweisscode.
