deploy transformers

Implementar transformadores?

Disgima un modelo SOTA para la generación de texto en solo tres líneas de código

Instalación

Pytorch y los transformadores obviamente son necesarios.

pip install deploy-transformers

Para la implementación, la estructura de archivos debe ser así:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Puede clonar este repositorio para tener archivos originales o usar el website.create_structure() o crear la estructura.

website.create_structure() creará automáticamente plantillas/ , estáticas/ y todos los archivos que están en él (.html, .js, .css).

Uso

Verifique los ejemplos/ carpeta.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Puede cambiar el nombre de archivo de la página de inicio, las plantillas/ y estática/ nombres en website.deploy() pero es mejor mantenerlos como predeterminado.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

También hay un Dockerfile.

Gracias

• Paquete Transformers de Huggingface
• GPT-2 Cloudrun por Minaxir

Notas

• Haga lo mismo pero para otras tareas como el análisis de sentimientos, o preguntas y respuestas.
• ¿Agregar opción Flask?