deploy transformers

Transformatoren einsetzen?

Stellen Sie ein SOTA-Modell für die Text-Generation in nur drei Codezeilen ein

Installation

Pytorch und Transformers werden offensichtlich benötigt.

pip install deploy-transformers

Für die Bereitstellung muss die Dateistruktur wie folgt sein:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Sie können dieses Repository entweder klonen , um Originaldateien zu haben, oder die Funktionswebsite verwenden.create_structure website.create_structure() oder die Struktur erstellen .

website.create_structure() erstellt automatisch Vorlagen/ , statisch/ und alle darin enthaltenen Dateien (.html, .js, .css).

Verwendung

Überprüfen Sie die Beispiele/ den Ordner.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Sie können den Homepage -Dateinamen, Vorlagen/ und statische/ Namen in website.deploy() ändern. Es ist jedoch besser, sie als Standard zu halten.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

Es gibt auch eine Dockerfile.

Danke

• Transformers -Paket durch Umarmungen
• GPT-2-Cloudrun von Minimaxir

Notizen

• Tun Sie dasselbe, aber für andere Aufgaben wie Stimmungsanalyse oder Q & A.
• Flaskoption hinzufügen?