applied_nlp_demos

apply_nlp_demos di pytorch

NLP modern

1. Pretrain T5 V1.1: Pra-Train T5 pada Kode Dataset C4. Kode ini jauh lebih rumit, lebih mudah dibaca, dan lebih benar untuk implementasi Google, daripada opsi lain yang tersedia berkat HuggingFace. Dibandingkan dengan kertas T5 1.1 yang melaporkan kerugian 1.942 pada 65.536 langkah, satu RTX 4090 tunggal menghasilkan hasil yang sebanding pada set tes (2.08) dalam sekitar 18,5 jam pelatihan menggunakan kode ini (lihat gambar di bawah). Pretraining pada set data Anda sendiri sesederhana menukar Dataset yang ada dengan Anda sendiri.

2. Seq2seq (chatbot): Fine tune flan-t5 pada kode alpaca

3. SEQ2SEQ: Fine tune flan-t5 pada data menggunakan kode kerangka kerja HuggingFace Dataset

Google/Flan-T5-Large

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/Flan-T5-Large: Fine-tuned di Alpaca

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

Legacy NLP

Repositori ini berisi pemrosesan data awal-ke-finish dan algoritma NLP menggunakan pytorch dan sering memeluk permukaan (transformer) untuk model berikut:

1. Kertas: Jaringan Perhatian Hierarkis Implementasi Pytorch: Kode

2. Kertas: Bert Pytorch Implementasi: Kode

3. Ensemble Bert-CNN. Implementasi PyTorch: Kode

4. Kertas: Karakter Level CNN Pytorch Implementasi: Kode

5. Kertas: Distilbert Pytorch Implementasi: Kode

6. Distilgpt-2. Implementasi PyTorch: Kode

7. Kertas: Jaringan Saraf Konvolusional untuk Kalimat Klasifikasi Implementasi Pytorch: Kode

8. Kertas: T5-Klasifikasi Pytorch Implementasi: Kode

9. Kertas: T5-Summarisasi Pytorch Implementasi: Kode

10. Membangun corpus: Cari file teks. Kode: Kode

11. Paper: Heinsein Routing Torchtext Implementasi: Kode

12. Entitas embeddings dan pemuatan malas. Kode: Kode

13. Kesamaan semantik. Kode: Kode

14. Skuad 2.0 Bert Emisi Emisi di Pytorch. Kode: Kode

15. Emisi embeddings SST-5 Bert di Pytorch. Kode: Kode

Kredit: Kelompok Hedwig telah berperan dalam membantu saya mempelajari banyak model ini.

Output R Markdown yang tampak lebih bagus dapat ditemukan di sini: http://seekinginference.com/nlp/