curated transformers

Transformateurs organisés

Transformers de pointe, brique en brique

Les transformateurs organisés sont une bibliothèque de transformateurs pour Pytorch. Il fournit des modèles de pointe qui sont composés d'un ensemble de composants réutilisables. Les caractéristiques remarquables du transformateur organisé sont:

• ⚡️ soutient les modèles de transformateurs de pointe, y compris les LLM tels que Falcon, Llama et Dolly V2.
• ? ‍? Chaque modèle est composé à partir d'un ensemble de blocs de construction réutilisables, offrant de nombreux avantages:
  • La mise en œuvre d'une fonctionnalité ou de BugFix profite à tous les modèles. Par exemple, tous les modèles prennent en charge l'inférence 4/8 bits via la bibliothèque bitsandbytes et chaque modèle peut utiliser le dispositif meta Pytorch pour éviter les allocations et l'initialisation inutiles.
  • L'ajout de nouveaux modèles à la bibliothèque est à faible effort.
  • Voulez-vous essayer une nouvelle architecture de transformateur? Un encodeur Bert avec des incorporations rotatives? Vous pouvez le faire dans une pincée.
• ? Annotations de type cohérentes de toutes les API publiques:
  • Obtenez un excellent support de codage de votre IDE.
  • S'intègre bien à votre code de type existant.
• ? Idéal pour l'éducation, car les éléments constitutifs sont faciles à étudier.
• ? Dépendances minimales.

Les transformateurs organisés ont été testés en production par explosion et seront utilisés comme implémentation de transformateur par défaut dans Spacy 3.7.

? Architectures de modèle pris en charge

Modèles pris en charge uniquement en encodeur:

• Albert
• Bert
• Camembert
• Roberta
• Xlm-roberta

Modèles pris en charge uniquement du décodeur:

• Faucon
• Gpt-neox
• Lama 1/2
• Mpte

Emballages de générateurs:

• Dolly V2
• Faucon
• Lama 1/2
• Mpte

Tous les types de modèles peuvent être chargés à partir de HuggingFace Hub.

L'intégration de Spacy pour les transformateurs organisée est fournie par le package spacy-curated-transformers .

⏳ Installer

pip install curated-transformers

Support CUDA

La version Linux par défaut de Pytorch est construite avec le support CUDA 11.7. Vous devez installer explicitement une construction CUDA dans les cas suivants:

• Si vous souhaitez utiliser des transformateurs organisés sur Windows.
• Si vous souhaitez utiliser des transformateurs organisés sur Linux avec des GPU de génération ADA. La version standard de Pytorch prend en charge les GPU ADA, mais vous pouvez obtenir des améliorations de performances considérables en installant Pytorch avec le support CUDA 11.8.

Dans les deux cas, vous pouvez installer Pytorch avec:

pip install torch --index-url https://download.pytorch.org/whl/cu118

? ‍♀️ Exemple d'utilisation

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

Vous pouvez trouver plus d'exemples d'utilisation dans la documentation. Vous pouvez également trouver des exemples de programmes qui utilisent des transformateurs organisés dans le répertoire examples .

Documentation

Vous pouvez en savoir plus sur la façon d'utiliser les transformateurs organisés ici:

• Aperçu (développement)
• Utilisation (développement)
• API (développement)

? ️ quantification

curated-transformers prennent en charge la quantification dynamique 8 bits et 4 bits des modèles en tirant parti de la bibliothèque bitsandbytes .

Utilisez la variante de quantification pour installer automatiquement les dépendances nécessaires:

pip install curated-transformers[quantization]