deploy transformers

Implantar transformadores?

Implante um modelo SOTA para geração de texto em apenas três linhas de código

Instalação

Pytorch e Transformers são obviamente necessários.

pip install deploy-transformers

Para implantação, a estrutura de arquivos precisa ser assim:

├── static
│   ├── script.js
│   ├── style.css
├── templates
│   ├── 404.html
│   ├── index.html
|
└── your_file.py

Você pode clonar esse repositório para ter arquivos originais ou usar o website.create_structure() ou criar a estrutura.

website.create_structure() criará automaticamente modelos/ , estático/ e todos os arquivos que estão nele (.html, .js, .css).

Uso

Verifique os exemplos/ pasta.

 # Deployment
from deploy_transformers import Website

website = Website ( model_type = "gpt2" , model_name = "distilgpt2" )
# website.create_folder(homepage_file="index.html", template_folder='templates', static_folder='static')
website . deploy ()

Você pode alterar o nome do arquivo da página inicial, modelos/ e nomes estáticos/ no website.deploy() , mas é melhor mantê -los como padrão.

 # Only text generation
from deploy_transformers import ListModels , Model

# ListModels() to show available models
model = Model ( "gpt2" , "distilgpt2" , seed = 42 , verbose = False )
model . generate ( length = 20 , prompt = "The quick brown fox jumps over the lazy dog" )
# If no prompt, input will be ask until exit

Há também um Dockerfile.

Obrigado

• Pacote transformadores por huggingface
• GPT-2-cloudrun por minimaxir

Notas

• Faça o mesmo, mas para outras tarefas, como análise de sentimentos ou perguntas e respostas.
• Adicionar opção de frasco?