transformers tutorials

Tutorial Pytorch Transformers

Perkenalan

Bidang NLP direvolusi pada tahun 2018 dengan memperkenalkan Bert dan teman -teman transformernya (Roberta, XLM dll.).

Arsitektur jaringan saraf berbasis transformator baru dan cara -cara baru untuk melatih jaringan saraf tentang data bahasa alami yang memperkenalkan pembelajaran transfer ke masalah NLP. Transfer Learning telah memberikan hasil seni dalam domain visi komputer selama beberapa tahun sekarang dan pengenalan model transformator untuk NLP membawa perubahan paradigma yang sama dalam NLP.

Perusahaan seperti Google dan Facebook melatih jaringan saraf mereka pada petak besar data bahasa alami untuk memahami seluk -beluk bahasa sehingga menghasilkan model bahasa. Akhirnya model -model ini disesuaikan dengan dataset domain tertentu untuk mencapai hasil canggih untuk pernyataan masalah tertentu. Mereka juga menerbitkan model -model terlatih ini ke komunitas open source. Anggota masyarakat sekarang dapat menyempurnakan model -model ini dengan kasus penggunaan spesifik mereka.

Memeluk wajah memudahkan komunitas untuk mengakses dan menyempurnakan model -model ini menggunakan paket Python mereka: Transformers.

Motivasi

Terlepas dari kemajuan teknologi yang luar biasa ini yang menerapkan solusi ini untuk masalah bisnis masih merupakan tantangan mengingat pengetahuan niche yang diperlukan untuk memahami dan menerapkan metode ini pada pernyataan masalah tertentu. Oleh karena itu, dalam tutorial berikut saya akan menunjukkan bagaimana pengguna dapat memanfaatkan teknologi bersama dengan beberapa alat Python lainnya untuk menyempurnakan model bahasa ini dengan jenis tugas tertentu.

Sebelum saya melanjutkan, saya akan ingin menyebutkan grup berikut untuk pekerjaan fantastis yang mereka lakukan dan berbagi yang telah membuat notebook dan tutorial ini menjadi:

Harap tinjau sumber -sumber informasi yang luar biasa ini dan berlangganan saluran/sumbernya.

• Tim Wajah Memeluk
• Abhishek Thakur untuk video YouTube -nya yang menakjubkan

Pernyataan masalah yang akan saya kerjakan adalah:

Buku catatan	Tautan GitHub	Tautan colab	Kernel kaggle
Klasifikasi Teks: Multi-Kelas	GitHub		Kaggle
Klasifikasi teks: multi-label	GitHub		Kaggle
Klasifikasi sentimen dengan pelacakan eksperimen di Wandb!	GitHub
Bernama Pengakuan Entitas: Dengan Pemrosesan TPU!	GitHub		Kaggle
Pertanyaan menjawab
Ringkasan Penulisan: Dengan pelacakan eksperimen di Wandb!	GitHub		Kaggle

Struktur Direktori

1. data : Folder ini berisi semua data mainan yang digunakan untuk penyetelan.
2. utils : Folder ini akan berisi skrip lain -lain yang digunakan untuk mempersiapkan tuning fine.
3. models : Folder untuk menyimpan semua artefak postingan postingan.

Menonton/membaca lebih lanjut

Saya akan mencoba membahas aspek -aspek praktis dan implementasi dari penyempurnaan model bahasa ini pada berbagai tugas NLP. Anda dapat meningkatkan pengetahuan Anda tentang topik ini dengan membaca/menonton sumber daya berikut.

• Menonton

  • Pendahuluan dalam istilah sederhana
  • Transfer pembelajaran di NLP
  • Seri Penelitian Bert dari Chrismccormickai

• Membaca

  • Dokumentasi Transformers
  • Dokumentasi Pytorch
  • Google AI Blog