deploy transformers

Déployer les transformateurs?

Déployer un modèle SOTA pour la génération de texte en seulement trois lignes de code

Installation

Pytorch et Transformers sont évidemment nécessaires.

pip install deploy-transformers

Pour le déploiement, la structure des fichiers doit être comme ceci:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Vous pouvez soit cloner ce référentiel pour avoir des fichiers d'origine ou utiliser le website.create_structure() ou créer vous-même la structure.

website.create_structure() créera automatiquement des modèles / , static / et tous les fichiers qui y sont (.html, .js, .css).

Usage

Vérifiez les exemples / dossier.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Vous pouvez modifier le nom de fichier de la page d'accueil, les modèles / et les noms statiques / dans website.deploy() , mais il est préférable de les garder par défaut.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

Il y a aussi un dockerfile.

Merci

• Package Transformers en étreignant
• GPT-2-Cloudrun par minimaxir

Notes

• Faites de même mais pour d'autres tâches comme l'analyse du sentiment, ou Q&R.
• Ajouter l'option FLASK?