gpt 2 Pytorch

GPT2-PYTORCH AVEC GÉNÉRATEUR DE Texte

De meilleurs modèles de langage et leurs implications

Notre modèle, appelé GPT-2 (successeur de GPT), a été formé simplement pour prédire le mot suivant dans 40 Go de texte Internet. En raison de nos préoccupations concernant les applications malveillantes de la technologie, nous ne publions pas le modèle formé. En tant qu'expérience dans la divulgation responsable, nous publions plutôt un modèle beaucoup plus petit pour que les chercheurs puissent expérimenter, ainsi qu'un document technique. du blog openai

Ce référentiel est une implémentation simple GPT-2 sur le générateur de texte dans Pytorch avec du code de compression

• Le répertoire d'origine est Openai / GPT-2. Vous pouvez également lire du papier sur GPT-2, "Les modèles de langage sont des apprenants multitâches non surveillés". Pour comprendre plus de détails, je recommande des articles sur le modèle de transformateur.

• Bonne implémentation GPT-2 dans Pytorch auquel j'ai fait référence, HuggingFace / Pytorch-préragé-BERT, vous pouvez voir plus de détails implémentation dans HuggingFace Repository.

• Transformateur (auto-agence) document: l'attention est tout ce dont vous avez besoin (2017)

• Premier document Openai-GPT: Amélioration de la compréhension du langage par pré-formation générative (2018)

• Voir le blog Openai sur le GPT-2 et le papier

Démarrage rapide

1. Téléchargez le modèle pré-formé GPT2 à Pytorch qui est déjà fait! (Merci pour le partage! C'est mon problème de transfert de fichier TensorFlow (CKPT) au modèle Pytorch!)

$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model 
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt

2. Maintenant, vous pouvez courir comme ça.

• Texte du livre 1984, George Orwell

$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "

3. Vous pouvez également commencer rapidement dans Google Colab

Option

• --text : phrase pour commencer.
• --quiet : ne pas imprimer toutes les choses étrangères comme le "==============="
• --nsamples : Nombre d'échantillons échantillonnés en lot lorsque la fonction multinomiale utilise
• --unconditional : Si la génération vraie et inconditionnelle.
• --batch_size : nombre de tailles de lot
• --length : longueur de phrase (<nombre de contextes)
• --temperature : la température thermodynamique dans la distribution (default 0.7)
• --top_k : renvoie les k supérieurs les plus grands éléments du tenseur d'entrée donné le long d'une dimension donnée. (default 40)

Voir plus d'option de détail sur temperature et top_k ici

Dépendances

• Pytorch 0,41+
• Regex 2017.4.5

Configuration Mac OS

$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txt

Auteur

• Tae Hwan Jung (Jeff Jung) @Graykode
• Courriel de l'auteur: [email protected]

Licence

• OpenAI / GPT2 Suivez la licence MIT, HuggingFace / Pytorch-prétraité-BERT est la licence Apache.
• Je suis la licence MIT avec le référentiel GPT2 original

Reconnaissance

Jeff Wu (@wuthefwasthat), Thomas Wolf (@thomwolf) pour permettre le code référent.