curated transformers

Transformer yang dikuratori

Transformator canggih, batu bata demi bata

Curated Transformers adalah perpustakaan transformator untuk Pytorch. Ini menyediakan model canggih yang terdiri dari serangkaian komponen yang dapat digunakan kembali. Fitur menonjol dari transformator yang dikuratori adalah:

• ⚡️ Mendukung model transformator canggih, termasuk LLM seperti Falcon, Llama, dan Dolly V2.
• ? ‍? Setiap model terdiri dari satu set blok bangunan yang dapat digunakan kembali, memberikan banyak manfaat:
  • Menerapkan fitur atau perbaikan bug manfaat semua model. Sebagai contoh, semua model mendukung inferensi 4/8-bit melalui pustaka bitsandbytes dan setiap model dapat menggunakan perangkat meta Pytorch untuk menghindari alokasi dan inisialisasi yang tidak perlu.
  • Menambahkan model baru ke perpustakaan adalah upaya rendah.
  • Apakah Anda ingin mencoba arsitektur transformator baru? Encoder Bert dengan embeddings putar? Anda bisa membuatnya dalam keadaan darurat.
• ? Anotasi tipe yang konsisten dari semua API publik:
  • Dapatkan dukungan pengkodean yang bagus dari IDE Anda.
  • Terintegrasi dengan baik dengan kode tipe-check yang ada.
• ? Bagus untuk pendidikan, karena blok bangunan mudah dipelajari.
• ? Dependensi minimal.

Transformer yang dikuratori telah diuji produksi oleh ledakan dan akan digunakan sebagai implementasi transformator default di Spacy 3.7.

? Arsitektur model yang didukung

Model khusus enkoder yang didukung:

• Albert
• Bert
• Keju Camembert
• Roberta
• XLM-Roberta

Model Decoder saja yang didukung:

• Elang
• GPT-NEOX
• Llama 1/2
• MPT

Pembungkus Generator:

• Dolly v2
• Elang
• Llama 1/2
• MPT

Semua jenis model dapat dimuat dari hub pelukan.

Integrasi spacy untuk transformator yang dikuratori disediakan oleh paket spacy-curated-transformers .

⏳ Instal

pip install curated-transformers

Dukungan Cuda

Build Linux default dari Pytorch dibangun dengan dukungan CUDA 11.7. Anda harus secara eksplisit memasang build CUDA dalam kasus -kasus berikut:

• Jika Anda ingin menggunakan transformator yang dikuratori pada windows.
• Jika Anda ingin menggunakan transformator yang dikuratori di Linux dengan GPU generasi ADA. Pytorch Build standar mendukung ADA GPU, tetapi Anda bisa mendapatkan peningkatan kinerja yang cukup besar dengan menginstal Pytorch dengan dukungan CUDA 11.8.

Dalam kedua kasus, Anda dapat menginstal Pytorch dengan:

pip install torch --index-url https://download.pytorch.org/whl/cu118

? ‍️ Contoh Penggunaan

>>> import torch
>>> from curated_transformers.generation import AutoGenerator, GreedyGeneratorConfig
>>> generator = AutoGenerator.from_hf_hub( name = " tiiuae/falcon-7b-instruct " , device = torch.device( " cuda " ))
>>> generator([ " What is Python in one sentence? " , " What is Rust in one sentence? " ], GreedyGeneratorConfig())
['Python is a high-level programming language that is easy to learn and widely used for web development, data analysis, and automation.',
 'Rust is a programming language that is designed to be a safe, concurrent, and efficient replacement for C++.']

Anda dapat menemukan lebih banyak contoh penggunaan dalam dokumentasi. Anda juga dapat menemukan contoh program yang menggunakan transformator yang dikuratori di direktori examples .

Dokumentasi

Anda dapat membaca lebih lanjut tentang cara menggunakan transformator yang dikuratori di sini:

• Tinjauan umum (pengembangan)
• Penggunaan (pengembangan)
• API (pengembangan)

? ️ Kuantisasi

curated-transformers mendukung kuantisasi model 8-bit dan 4-bit dinamis dengan memanfaatkan perpustakaan bitsandbytes .

Gunakan varian kuantisasi untuk secara otomatis menginstal dependensi yang diperlukan:

pip install curated-transformers[quantization]