deploy transformers

Развернуть трансформаторы?

Развернуть модель SOTA для генерации текста только в трех строках кода

Установка

Очевидно, что Pytorch и трансформаторы .

pip install deploy-transformers

Для развертывания структура файлов должна быть такой:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Вы можете либо клонировать этот репозиторий, чтобы иметь исходные файлы, либо использовать website.create_structure() , либо создать себе структуру.

website.create_structure() автоматически создаст шаблоны/ , Static/ и все файлы, которые находятся в нем (.html, .js, .css).

Использование

Проверьте примеры/ папку.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Вы можете изменить имя файла домашней страницы, шаблоны/ и статические/ имена на website.deploy() , но лучше сохранить их по умолчанию.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

Есть также Dockerfile.

Спасибо

• Пакет трансформаторов от Huggingface
• GPT-2-Cloudrun от Minimaxir

Примечания

• Сделайте то же самое, но для других задач, таких как анализ настроений, или Q & A.
• Добавить опцию колбы?