curated transformers

Transformadores curados

Transformadores de última generación, ladrillo de ladrillo

Transformers curados es una biblioteca de transformadores para Pytorch. Proporciona modelos de última generación que están compuestos a partir de un conjunto de componentes reutilizables. Las características destacadas del transformador curado son:

• ⚡️ Admite modelos de transformadores de última generación, incluidos LLM como Falcon, Llama y Dolly V2.
• ? ‍? Cada modelo está compuesto a partir de un conjunto de bloques de construcción reutilizables, proporcionando muchos beneficios:
  • Implementar una función o un correcto de errores beneficia a todos los modelos. Por ejemplo, todos los modelos admiten inferencia de 4/8 bits a través de la biblioteca bitsandbytes y cada modelo puede usar el meta dispositivo Pytorch para evitar asignaciones innecesarias e inicialización.
  • Agregar nuevos modelos a la biblioteca es de bajo esfuerzo.
  • ¿Quieres probar una nueva arquitectura de transformador? ¿Un codificador Bert con incrustaciones rotativas? Puedes hacerlo en un apuro.
• ? Anotaciones de tipo consistentes de todas las API públicas:
  • Obtenga un excelente soporte de codificación de su IDE.
  • Se integra bien con su código comprobado por tipo existente.
• ? Ideal para la educación, porque los bloques de construcción son fáciles de estudiar.
• ? Dependencias mínimas.

Los transformadores curados se han probado en producción por explosión y se utilizarán como la implementación de transformador predeterminada en Spacy 3.7.

? Arquitecturas de modelos compatibles

Modelos de codificador compatibles solo:

• Albert
• Bert
• Queso Camembert
• Roberta
• XLM-Roberta

Modelos de decodificador compatibles:

• Halcón
• GPT-NOOX
• Llama 1/2
• MPT

Envoltorios generadores:

• Dolly V2
• Halcón
• Llama 1/2
• MPT

Todos los tipos de modelos se pueden cargar desde Huggingface Hub.

La integración de Spacy para transformadores curados es proporcionada por el paquete spacy-curated-transformers .

⏳ Instalar

pip install curated-transformers

Soporte CUDA

La compilación predeterminada de Linux de Pytorch está construida con soporte CUDA 11.7. Debe instalar explícitamente una compilación CUDA en los siguientes casos:

• Si desea usar transformadores curados en Windows.
• Si desea usar transformadores curados en Linux con GPU de generación ADA. La compilación estándar de Pytorch admite GPU ADA, pero puede obtener mejoras considerables de rendimiento instalando Pytorch con soporte CUDA 11.8.

En ambos casos, puede instalar Pytorch con:

pip install torch --index-url https://download.pytorch.org/whl/cu118

? ‍♀️ Ejemplo de uso

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

Puede encontrar más ejemplos de uso en la documentación. También puede encontrar programas de ejemplo que usen transformadores curados en el directorio examples .

Documentación

Puede leer más sobre cómo usar transformadores curados aquí:

• Descripción general (desarrollo)
• Uso (desarrollo)
• API (desarrollo)

? ️ Cuantización

curated-transformers admiten cuantización dinámica de modelos de 8 y 4 bits al aprovechar la biblioteca bitsandbytes .

Use la variante de cuantización para instalar automáticamente las dependencias necesarias:

pip install curated-transformers[quantization]