Unduh tf transformers - Unduh Kode Sumber tf transformers

tf transformers

Kode Sumber AI

1.0.0

Unduh

Transformer Tensorflow

Situs web: https://legacyai.github.io/tf-transformers

TF-Transformers: Transformator canggih yang lebih cepat dan lebih mudah di TensorFlow 2.0

Bayangkan generasi regresif auto menjadi 90x lebih cepat. TF-Transformers (TensorFlow Transformers) dirancang untuk memanfaatkan kekuatan penuh TensorFlow 2, yang dirancang khusus untuk arsitektur berbasis transformator.

Model -model ini dapat diterapkan pada:

Teks, untuk tugas -tugas seperti klasifikasi teks, ekstraksi informasi, penjawab pertanyaan, ringkasan, terjemahan, pembuatan teks, dalam lebih dari 100 bahasa.
? ️ Gambar, untuk tugas seperti klasifikasi gambar, deteksi objek, dan segmentasi.
Audio, untuk tugas -tugas seperti pengenalan suara dan klasifikasi audio. (Segera hadir)

Fitur unik

Decoding autoreggresif yang lebih cepat
Dukungan tflite
Membuat Tfrecords sederhana .
Auto-Batching tf.data.dataset atau TF.Ragged tensors
Everything is Dictionary (input dan output)
Beberapa mode mask seperti kausal , ditentukan pengguna , awalan .
Dukungan tokenizer TensorFlow-Text
Mendukung GPU, TPU, pelatih multi-GPU dengan wandb, callback ganda, tensorboard otomatis

Benchmark pada generasi teks GPT2

GPT2 generasi teks dengan max_length=64 , num_beams=3 .

 tf_transformers : 31 minutes
huggingface_tf  : 83 minutes
huggingface_pt  : 36 minutes
huggingface_jax : 35 minutes

Dari 83 minutes hingga 31 minutes adalah percepatan yang signifikan. Percepat 92 % . Rata-rata, TF-transformer adalah 80-90 % speedup daripada implementasi Huggingface TensorFlow dan dalam kebanyakan kasus itu sebanding atau lebih cepat dari Pytorch .

Lebih banyak tolok ukur dapat ditemukan di tolok ukur

Instalasi

Dengan pip

Repositori ini diuji pada Python 3.7+ dan TensorFlow 2.7.

Prasyarat yang direkomendasikan

pip install sentencepiece
pip install tensorflow-text > = 2.7.3
pip install tqdm

Instal tensorflow >= 2.7.0 [CPU or GPU] Sesuai mesin Anda. Anda harus menginstal transformer TF di lingkungan virtual. Jika Anda tidak terbiasa dengan lingkungan virtual Python, lihat panduan pengguna.

Pertama, buat lingkungan virtual dengan versi python yang akan Anda gunakan dan aktifkan.

Kemudian, Anda harus menginstal setidaknya satu dari TensorFlow. Silakan merujuk ke halaman instalasi TensorFlow, halaman instalasi mengenai perintah instalasi spesifik untuk platform Anda. Kami sangat merekomendasikan untuk menginstal [TensorFlow-Text] (https://www.tensorflow.org/text).

Ketika salah satu dari backend telah dipasang, transformer TF dapat dipasang menggunakan PIP sebagai berikut:

pip install tf-transformers

Dari sumber

git clone https://github.com/legacyai/tf-transformers.git
pip install poetry
cd tf-transformers
poetry install

Tur cepat

TF-Transformers API sangat sederhana dan minimalis.

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_checkpoint ( "/tmp/gpt2_model/" ) # Save Model

Untuk generasi teks, sangat penting untuk ditambahkan: obj: use_auto_regressive=True . Ini diperlukan untuk semua model.

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' , use_auto_regressive = True )

Untuk membuat serial save dan memuat model

 > >> from tf_transformers . models import GPT2Model
> >> model = GPT2Model . from_pretrained ( 'gpt2' )
> >> model . save_transformers_serialized ( "/tmp/gpt2_serialized/" )

# To load a serialized models for inference in prodcution:

> >> import tensorflow as tf
> >> loaded = tf . saved_model . load ( "/tmp/gpt2_serialized/" )
> >> model  = loaded . signatures [ 'serving_default' ]

Model input dan output

Dalam transformer TF kami sebagian besar mengikuti Functional API dari Keras. Semua model dalam tf-transformers terhubung dan selalu memiliki fungsionalitas berikut.

Input model

Jika tf.keras.Model atau tf_transformers.core.LegacyModel , gunakan: print(model.input) .

Jika tf.keras.Layer atau tf_transformers.core.LegacyLayer , gunakan: print(model.model_inputs) .

Output model

Jika tf.keras.Model atau tf_transformers.core.LegacyModel , gunakan: print(model.output) .

Jika tf.keras.Layer atau tf_transformers.core.LegacyLayer , gunakan: print(model.model_outputs) .

Tutorial

Kami telah membahas tutorial yang mencakup pra-pelatihan, finetuning, classfication, QA, ner jauh lebih banyak.

Baca dan tulis TFRECORDS menggunakan TFT
Klasifikasi Teks Menggunakan Albert
MLM dinamis (dengan cepat pra-pemrosesan menggunakan TF-teks) di TPU
Klasifikasi Gambar Vit Multi GPU Cermin
Kalimat Embedding Train dari awal menggunakan quoara di Roberta + Zeroshot STS-B
Rekayasa cepat menggunakan klip
Pertanyaan menjawab sebagai generasi - Skuad V1 menggunakan GPT2
Code to Code Translation (Codexglue - Java ke C#) Menggunakan T5

Penggunaan model

Pembuatan teks menggunakan gpt2
Pembuatan teks menggunakan T5
Transformer Kalimat

Tutorial tflite

Albert Tflite
Bert tflite
Roberta Tflite

Mengapa saya harus menggunakan transformer TF?

Gunakan model canggih dalam produksi, dengan kurang dari 10 baris kode.
- Model kinerja tinggi, lebih baik dari semua model berbasis TensorFlow resmi
- Kelas yang sangat sederhana untuk semua tugas hilir
- Lengkapi dukungan TFLITE untuk semua tugas.
Jadikan pengalaman berbasis industri agar tersedia bagi siswa dan komunitas dengan tutorial yang jelas
Latih model apa pun di GPU , Multi-GPU , TPU dengan tf.keras.Model.fit yang luar biasa
- Latih model canggih dalam beberapa baris kode.
- Semua model sepenuhnya dapat diserialisasi.
Kustomisasi setiap model atau jaringan pipa dengan perubahan kode minimal atau tanpa.

Riset

Bagian penelitian memiliki kode untuk pra-pelatihan model yang berbeda mulai dari ** mlm, t5, clip dll **. Semua skrip ini dirancang untuk memanfaatkan kekuatan penuh pipa TensorFlow -o dan diuji pada TPU V2 dan TPU V3. Bug diharapkan pada mereka, tetapi berfungsi sebagai tujuan bagi para praktisi untuk memulai atau memodifikasi apa yang telah kami lakukan.

Kontribusi

Gabungan Albert (model berbasis transformator terkecil dan terbaik yang pernah ada) pada lem .

Kami telah melakukan beberapa percobaan untuk memeras kekuatan model dasar Albert (konsep ini berlaku untuk model apa pun dan dalam transformer TF, itu di luar kotak.)

Idenya adalah meminimalkan kerugian untuk tugas yang ditentukan di setiap lapisan model Anda dan memeriksa prediksi di setiap lapisan. Sesuai eksperimen kami, kami bisa mendapatkan model yang lebih kecil (terima kasih kepada Albert ), dan dari Layer 4 dan seterusnya kami mengalahkan semua model yang lebih kecil dalam benchmark lem . Dengan Layer 6 , kami mendapat skor lem 81.0 , yang merupakan 4 poin di depan Distillbert dengan skor lem 77 dan skor lem MobileBert 78 .

Model Albert memiliki 14 juta parameter, dan dengan menggunakan Layer 6 , kami dapat mempercepat gabungan sebesar 50%.

Konsep ini berlaku untuk semua model dan tugas.

Kode + Baca lebih lanjut

Transformator urutan blok panjang

Dengan membagi urutan input menjadi perhatian blok dan bergabung menggunakan lapisan FFN, kami telah menunjukkan bahwa, mesin yang lebih kecil akan dapat melakukan pemrosesan urutan hingga 4096 token dalam mesin GPU V100 tunggal. Model ini telah mengungguli Pegasus Base (128 million) dalam peringkasan PubMed meskipun 60 million parameter.

Kode + Baca lebih lanjut

Arsitektur model yang didukung

TF-Transformers saat ini menyediakan arsitektur berikut.

Albert (dari Google Research dan Toyota Technological Institute di Chicago) dirilis dengan Paper Albert: A Lite Bert untuk pembelajaran representasi bahasa sendiri, oleh Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radar Soricut.
Bert (dari Google) dirilis dengan kertas Bert: pra-pelatihan transformator dua arah yang dalam untuk pemahaman bahasa oleh Jacob Devlin, Ming-Wei Chang, Kenton Lee dan Kristina Toutanova.
Bert for Sequence Generation (dari Google) dirilis dengan kertas yang memanfaatkan pos pemeriksaan pra-terlatih untuk tugas generasi urutan oleh Sascha Rothe, Shashi Narayan, Aliaksei Severyn.
Electra (dari Google Research/Stanford University) dirilis dengan kertas electra: pra-pelatihan encoder sebagai diskriminator daripada generator oleh Kevin Clark, Minh-Ther Luong, Quoc V. Le, Christopher D. Manning.
GPT-2 (dari Openai) yang dirilis dengan model bahasa kertas adalah pelajar multitask tanpa pengawasan oleh Alec Radford*, Jeffrey Wu*, Rewon Child, David Luan, Dario Amodei ** dan Ilya Sutskever **.
MT5 (dari Google AI) dirilis dengan kertas MT5: transformator teks-ke-teks pra-terlatih multibahasa oleh Linting Xue, Noah Constant, Adam Roberts, Mihir Kale, Rami al-Rfou, Aditya Siddhant, Aditya Barua, Colin Raffel.
Roberta (dari Facebook), dirilis bersama dengan kertas itu pendekatan pretraining Bert yang dioptimalkan oleh Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, Veselin Stoyanov.
T5 (dari Google AI) dirilis dengan makalah yang mengeksplorasi batas-batas pembelajaran transfer dengan transformator teks-ke-teks terpadu oleh Colin Raffel dan Noam Shazeer dan Adam Roberts dan Katherine Lee dan Sharan Narang dan Michael Matena dan Yanqi Zhou dan Wei Li dan Peter J. Liu.
Vision Transformer (VIT) (dari Google AI) Dirilis dengan kertas gambar bernilai 16x16 kata: Transformers untuk pengenalan gambar pada skala oleh Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa DeHghani, Matthihua Uszkoreit, Neil Houlsby. 10 Klip (dari OpenAi) dirilis dengan Makalah Pembelajaran Model Visual yang Dapat Dipindahkan dari Pengawasan Bahasa Alami oleh Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, Gretchen Krueger, oryer, ungger.