deploy transformers

Menyebarkan Transformers?

Menggunakan model SOTA untuk generasi teks hanya dalam tiga baris kode

Instalasi

Pytorch dan Transformers jelas diperlukan.

pip install deploy-transformers

Untuk penempatan, struktur file harus seperti ini:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Anda dapat mengkloning repositori ini untuk memiliki file asli atau menggunakan website.create_structure() atau membuat sendiri strukturnya sendiri.

website.create_structure() akan secara otomatis membuat templat/ , statis/ dan semua file yang ada di dalamnya (.html, .js, .css).

Penggunaan

Periksa contoh/ folder.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Anda dapat mengubah nama file beranda, templat/ dan statis/ nama di website.deploy() tetapi lebih baik untuk membuatnya tetap default.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

Ada juga dockerfile.

Terima kasih

• Paket Transformers oleh Huggingface
• GPT-2-CLOUDRUN dengan minimaxir

Catatan

• Lakukan hal yang sama tetapi untuk tugas -tugas lain seperti analisis sentimen, atau tanya jawab.
• Tambahkan opsi Flask?