curated transformers

Transformadores com curadoria

Transformadores de última geração, tijolo por tijolo

Transformers com curadoria é uma biblioteca de transformadores para Pytorch. Ele fornece modelos de ponta compostos a partir de um conjunto de componentes reutilizáveis. Os recursos de destaque do transformador com curadoria são:

• ⚡️ Apoia modelos de transformadores de última geração, incluindo LLMs como Falcon, Llama e Dolly V2.
• ? ‍? Cada modelo é composto de um conjunto de blocos de construção reutilizáveis, proporcionando muitos benefícios:
  • A implementação de um recurso ou bug beneficia todos os modelos. Por exemplo, todos os modelos suportam a inferência de 4/8 bits através da biblioteca bitsandbytes e cada modelo pode usar o meta dispositivo Pytorch para evitar alocações e inicialização desnecessárias.
  • A adição de novos modelos à biblioteca é de baixo efeito.
  • Você quer experimentar uma nova arquitetura de transformador? Um codificador Bert com incorporações rotativas? Você pode fazer isso em uma pitada.
• ? Anotações de tipo consistente de todas as APIs públicas:
  • Obtenha um ótimo suporte de codificação do seu IDE.
  • Integra-se bem ao seu código verificado de tipo existente.
• ? Ótimo para educação, porque os blocos de construção são fáceis de estudar.
• ? Dependências mínimas.

Os transformadores com curadoria foram testados por explosão e serão usados ​​como implementação de transformador padrão no Spacy 3.7.

? Arquiteturas de modelo suportadas

Modelos somente para codificadores suportados:

• Albert
• Bert
• Camembert
• Roberta
• Xlm-roberta

Modelos somente decodificadores suportados:

• Falcão
• GPT-Neox
• LLAMA 1/2
• Mpt

Invólucros de gerador:

• Dolly v2
• Falcão
• LLAMA 1/2
• Mpt

Todos os tipos de modelos podem ser carregados do HUGGINGFACE HUB.

A integração de spacy para transformadores com curadoria é fornecida pelo pacote de spacy-curated-transformers .

⏳ Instale

pip install curated-transformers

Suporte CUDA

A compilação Linux padrão do Pytorch é construída com suporte CUDA 11.7. Você deve instalar explicitamente uma construção CUDA nos seguintes casos:

• Se você deseja usar transformadores selecionados no Windows.
• Se você deseja usar transformadores selecionados no Linux com GPUs ADA-Geração. A compilação Pytorch padrão suporta GPUs ADA, mas você pode obter melhorias consideráveis ​​de desempenho instalando o Pytorch com o suporte CUDA 11.8.

Nos dois casos, você pode instalar Pytorch com:

pip install torch --index-url https://download.pytorch.org/whl/cu118

Exemplo de uso de uso

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

Você pode encontrar mais exemplos de uso na documentação. Você também pode encontrar programas de exemplo que usam transformadores selecionados no diretório examples .

Documentação

Você pode ler mais sobre como usar transformadores selecionados aqui:

• Visão geral (desenvolvimento)
• Uso (Desenvolvimento)
• API (Desenvolvimento)

? Aste quantização

curated-transformers suporta quantização dinâmica de modelos de 8 e 4 bits, aproveitando a biblioteca bitsandbytes .

Use a variante de quantização para instalar automaticamente as dependências necessárias:

pip install curated-transformers[quantization]