curated transformers

Kuratierte Transformatoren

Hochmoderne Transformatoren, Ziegel für Ziegelstein

Kuratierte Transformers ist eine Transformatorbibliothek für Pytorch. Es bietet modernste Modelle, die aus einer Reihe wiederverwendbarer Komponenten bestehen. Die herausragenden Merkmale des kuratierten Transformators sind:

• ⚡️ unterstützt hochmoderne Modelle der Kunsttransformator, einschließlich LLMs wie Falcon, LLAMA und Dolly V2.
• ? ‍? Jedes Modell besteht aus einer Reihe wiederverwendbarer Bausteine, die viele Vorteile bieten:
  • Die Implementierung einer Funktion oder im Bugfix profitiert allen Modellen. Beispielsweise unterstützen alle Modelle eine 4/8-Bit-Inferenz über die bitsandbytes -Bibliothek und jedes Modell kann das Pytorch- meta Gerät verwenden, um unnötige Zuweisungen und Initialisierung zu vermeiden.
  • Das Hinzufügen neuer Modelle in die Bibliothek ist niedrig.
  • Möchten Sie eine neue Transformer -Architektur ausprobieren? Ein Bert -Encoder mit Rotary -Einbettungen? Sie können es zur Not schaffen.
• ? Konsistente Typ Anmerkungen aller öffentlichen APIs:
  • Holen Sie sich eine großartige Codierungsunterstützung von Ihrer IDE.
  • Integrieren Sie sich gut in Ihren vorhandenen Code mit Typ-Prüfung.
• ? Ideal für Bildung, weil die Bausteine ​​leicht zu studieren sind.
• ? Minimale Abhängigkeiten.

Kuratierte Transformatoren wurden durch Explosion produziert und werden als Standardtransformator-Implementierung in Spacy 3.7 verwendet.

? Unterstützte Modellarchitekturen

Unterstützte Encoder-Modelle nur:

• Albert
• Bert
• Camembert
• Roberta
• XLM-Roberta

Unterstützte Decoder-Modelle nur:

• Falke
• GPT-Neox
• Lama 1/2
• Mpt

Generatorverpackungen:

• Dolly v2
• Falke
• Lama 1/2
• Mpt

Alle Arten von Modellen können vom Hubface -Hub geladen werden.

Die Integration der Spact-Integration für kuratierte Transformatoren wird durch das Paket spacy-curated-transformers bereitgestellt.

⏳ Installation

pip install curated-transformers

CUDA -Unterstützung

Der Standard -Linux -Build von Pytorch wurde mit CUDA 11.7 -Unterstützung erstellt. Sie sollten in den folgenden Fällen ausdrücklich einen CUDA -Build installieren:

• Wenn Sie kuratierte Transformatoren unter Windows verwenden möchten.
• Wenn Sie kuratierte Transformatoren unter Linux mit ADA-Generation-GPUs verwenden möchten. Der Standard -Pytorch -Build unterstützt ADA GPUs, aber Sie können erhebliche Leistungsverbesserungen durchführen, indem Sie Pytorch mit CUDA 11.8 -Unterstützung installieren.

In beiden Fällen können Sie PyTorch mit:

pip install torch --index-url https://download.pytorch.org/whl/cu118

‍♀️ Nutzungsbeispiel

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

In der Dokumentation finden Sie weitere Nutzungsbeispiele. Sie können auch Beispielprogramme finden, die kuratierte Transformatoren im examples verwenden.

Dokumentation

Weitere Informationen zur Verwendung von kuratierten Transformatoren finden Sie hier:

• Übersicht (Entwicklung)
• Verwendung (Entwicklung)
• API (Entwicklung)

- Quantisierung

curated-transformers unterstützen dynamische 8-Bit- und 4-Bit-Quantisierung von Modellen, indem die bitsandbytes -Bibliothek genutzt wird.

Verwenden Sie die Quantisierungsvariante, um die erforderlichen Abhängigkeiten automatisch zu installieren:

pip install curated-transformers[quantization]