Transformers adalah perpustakaan Python yang dikembangkan dengan memeluk wajah, yang mendukung memuat sebagian besar model bahasa yang sudah terlatih. Dengan munculnya model seperti Bert dan GPT, semakin banyak pengguna menggunakan pustaka Transformers untuk membangun aplikasi pemrosesan bahasa alami.
Proyek ini adalah repositori kode untuk tutorial "Transformers Library Start Start", dan kode diatur sebagai berikut:
- Data : Menyimpan kumpulan data yang digunakan;
- SRC : Menyimpan kode sampel, setiap tugas sesuai dengan folder, yang dapat diunduh dan digunakan secara terpisah.
Tutorial ini sedang dalam pembaruan dan secara bertahap menambahkan konten terkait ke model bahasa besar.
Mulai cepat dari Perpustakaan Transformers
Bagian Satu: Pengetahuan Latar Belakang
- Bab 1: Pemrosesan Bahasa Alami
- Bab 2: Model Transformer
- Bab 3: Mekanisme Perhatian
Bagian 2: Pertemuan Pertama dengan Transformers
- Bab 4: Pipa di luar kotak
- Bab 5: Model dan Partisi Kata
- Bab 6: Pengetahuan Pytorch yang Diperlukan
- Bab 7: Menyempurnakan model pra-terlatih
Bagian 3: Pertempuran Praktis Transformers
- Bab 8: Partisi Kata Cepat
- Bab 9: Tugas Anotasi Urutan
- Bab 10: Tugas Terjemahan
- Bab 11: Tugas Ringkasan Teks
- Bab 12: Tanya Jawab Diekstraksi
- Bab 13: Mendorong Analisis Sentimen
Bagian 4: Era Model Bahasa Besar
- Bab 14: Pengantar Teknologi Model Bahasa Besar
- Bab 15: Model Bahasa Besar Pra-Pelatihan
- Bab 16: Menggunakan Model Bahasa Besar
- Bab 17: Instruksi Model Fell Tunnel FLANT5
- Bab 18: Model Llama2 Fine-Tuning Instruksi
Kode sampel
- pairwise_cls_similarity_afqmc: Tugas Klasifikasi Pasangan Kalimat, Penilaian Sinonim Keuangan.
- Sequence_labeling_ner_cpd: Tugas pelabelan urutan, pengenalan entitas yang dinamai.
- SEQ2SEQ_TRANSLASI: TUGAS SEQ2SEQ, Terjemahan Cina-Inggris.
- SEQ2SEQ_SUMMARISION: TUGAS SEQ2SEQ, Ringkasan Teks.
- Sequence_labeling_extractiveqa_cmrc: Tugas pelabelan urutan, pertanyaan dan jawaban yang diekstraksi.
- text_cls_prompt_senti_chnsenticorp: Tugas klasifikasi teks, analisis sentimen cepat.
Pembaruan penting
| tanggal | isi |
|---|
| 2024-07-06 | Ekspresi tekstual dari bab pertama "pemrosesan bahasa alami" dioptimalkan, beberapa gambar ditambahkan, dan pengantar model bahasa besar ditambahkan. |
| 2024-07-27 | Selesaikan draf awal pengenalan teknologi model bahasa besar (bab 14 hingga 16) |
