Transformers Recipe
1.0.0
Transformers telah mempercepat pengembangan teknik dan model baru untuk tugas pemrosesan bahasa alami (NLP). Meskipun sebagian besar telah digunakan untuk tugas NLP, sekarang melihat adopsi berat di bidang lain seperti visi komputer dan pembelajaran penguatan. Itu menjadikannya salah satu konsep modern terpenting untuk dipahami dan dapat diterapkan.
Saya sadar bahwa banyak pembelajaran mesin dan siswa dan praktisi NLP ingin belajar tentang transformator. Oleh karena itu, saya telah menyiapkan panduan studi dalam bentuk daftar sumber daya dan materi belajar untuk membantu membimbing siswa yang tertarik belajar tentang dunia transformator.
Untuk mulai dengan, saya telah menyiapkan beberapa tautan ke bahan yang saya gunakan untuk lebih memahami dan mengimplementasikan model transformator dari awal.
Pertama, cobalah untuk mendapatkan pengantar tingkat tinggi tentang transformer. Beberapa referensi layak dilihat:
Pengantar Transformer - Catatan Kuliah (Elvis Saravia)
Transformers From Scratch (Brandon Rohrer)
Bagaimana Transformers Bekerja Dalam Pembelajaran Depat dan NLP: An Intuitif Pendahuluan (AI Summer)
Stanford CS25 - Transformers United
Pembelajaran mendalam untuk pemahaman bahasa (DeepMind)
Model Transformer: Pendahuluan dan Katalog (Xavier Amatriain)
Penjelasan bergambar Jay Alammar luar biasa. Setelah Anda mendapatkan pemahaman tingkat tinggi tentang Transformers, Anda dapat melompat ke penjelasan Transformers yang terperinci dan bergambar yang populer ini:
Transformator yang diilustrasikan
Artikel berikutnya juga memecah transformer menjadi komponennya, menjelaskan dan menggambarkan secara rinci apa yang dilakukan masing -masing bagian:
Meruntuhkan transformator
Pada titik ini, Anda mungkin mencari ringkasan teknis dan ikhtisar Transformers. Posting blog Lilian Weng adalah permata dan memberikan penjelasan/ringkasan teknis ringkas:
Keluarga Transformer
The Transformer Family Versi 2.0
Setelah teori, penting untuk menguji pengetahuan. Saya biasanya lebih suka memahami hal -hal secara lebih rinci sehingga saya lebih suka menerapkan algoritma dari awal. Untuk menerapkan transformer, saya terutama mengandalkan tutorial ini:
Transformator beranotasi | (Google Colab | GitHub)
Pemodelan Bahasa dengan NN.Transformer dan TorchText
Jika Anda mencari implementasi mendalam pada beberapa transformer terbaru, Anda mungkin juga menemukan makalah dengan koleksi metode kode untuk transformator yang berguna.
Makalah ini oleh Vaswani et al. memperkenalkan arsitektur transformator. Bacalah setelah Anda memiliki pemahaman tingkat tinggi dan ingin masuk ke detailnya. Perhatikan referensi lain dalam makalah untuk menyelam dalam.
Perhatian adalah semua yang Anda butuhkan
Setelah beberapa waktu mempelajari dan memahami teori di balik Transformers, Anda mungkin tertarik untuk menerapkannya pada berbagai proyek atau penelitian NLP. Pada saat ini, taruhan terbaik Anda adalah Perpustakaan Transformers oleh Huggingface.
Transformer
Tim Face Hugging juga telah menerbitkan buku baru tentang NLP dengan Transformers, jadi Anda mungkin ingin memeriksanya di sini.
Sebagai bonus, berikut adalah daftar bacaan yang bagus di LLMS oleh Sebastian Raschka.
Memahami Model Bahasa Besar - Daftar Bacaan Transformatif
Jangan ragu untuk menyarankan materi studi. Dalam pembaruan berikutnya, saya ingin menambahkan koleksi aplikasi dan kertas transformator yang lebih komprehensif. Selain itu, implementasi kode untuk eksperimen yang mudah akan datang juga. Pantau terus!
Untuk mendapatkan pembaruan rutin tentang sumber daya ML dan NLP baru, ikuti saya di Twitter.
