spacy transformers

Spacy-Transformers: Gunakan transformator pretrained seperti Bert, XLNET dan GPT-2 di Spacy

Paket ini menyediakan komponen dan arsitektur spacy untuk menggunakan model transformator melalui transformers Face Hugging di Spacy. Hasilnya adalah akses yang nyaman ke arsitektur transformator canggih, seperti Bert, GPT-2, XLNET, dll.

Rilis ini membutuhkan Spacy V3. Untuk versi sebelumnya dari perpustakaan ini, lihat cabang v0.6.x

Fitur

• Gunakan model transformator pretrained seperti Bert , Roberta dan Xlnet untuk memberi daya pada pipa spacy Anda.
• Pembelajaran multi-tugas yang mudah: BackProp ke satu model transformator dari beberapa komponen pipa.
• Latih menggunakan sistem konfigurasi Spacy V3 yang kuat dan dapat diperluas.
• Penyelarasan otomatis output transformator ke tokenisasi Spacy.
• Mudah menyesuaikan data transformator apa yang disimpan dalam objek Doc .
• Mudah Sesuaikan berapa lama dokumen diproses.
• Serialisasi dan pengemasan model out-of-the-box.

Instalasi

Menginstal paket dari PIP akan secara otomatis menginstal semua dependensi, termasuk Pytorch dan Spacy. Pastikan Anda menginstal paket ini sebelum Anda menginstal model. Perhatikan juga bahwa paket ini membutuhkan Python 3.6+ , Pytorch v1.5+ dan Spacy v3.0+ .

pip install ' spacy[transformers] '

Untuk instalasi GPU, temukan versi CUDA Anda menggunakan nvcc --version dan tambahkan versi dalam kurung, misalnya spacy[transformers,cuda92] untuk CUDA9.2 atau spacy[transformers,cuda100] untuk CUDA10.0.

Jika Anda mengalami kesulitan menginstal Pytorch, ikuti instruksi di situs web resmi untuk sistem operasi spesifik Anda dan persyaratan.

Dokumentasi

️ Catatan penting: Paket ini telah direfaktor secara luas untuk memanfaatkan Spacy v3.0. Versi sebelumnya yang dibangun untuk Spacy v2.x bekerja sangat berbeda. Silakan lihat versi tag sebelumnya dari readme ini untuk dokumentasi pada versi sebelumnya.

• Embeddings, Transformers and Transfer Learning: Cara menggunakan Transformers dalam Spacy
• Pelatihan Jalur dan Model: Latih dan perbarui komponen pada data Anda sendiri dan mengintegrasikan model khusus
• Lapisan dan Arsitektur Model: Komponen Spacy Daya dengan Jaringan Saraf Kustom
• ? Transformer : Referensi API Komponen Pipeline
• ? Arsitektur Transformer: Arsitektur dan Fungsi Terdaftar

Menerapkan model teks pretrained dan token

Perhatikan bahwa komponen transformer dari spacy-transformers tidak mendukung kepala khusus tugas seperti token atau klasifikasi teks. Model transformator khusus tugas dapat digunakan sebagai sumber fitur untuk melatih komponen spacy seperti ner atau textcat , tetapi komponen transformer tidak menyediakan akses ke kepala khusus tugas untuk pelatihan atau inferensi.

Sebagai alternatif, jika Anda hanya ingin digunakan untuk prediksi dari teks wajah pemeluk atau model klasifikasi token yang ada, Anda dapat menggunakan pembungkus dari spacy-huggingface-pipelines untuk memasukkan model transformator khusus tugas ke dalam pipa spacy Anda.

Laporan Bug dan Masalah Lainnya

Harap gunakan pelacak masalah Spacy untuk melaporkan bug, atau buka utas baru di papan diskusi untuk masalah lain.