Foundation-model-large-bahasa-model-fm-llm-
Repositori ini dilakukan di bawah aksi melaksanakan tugas -tugas penting di mana konsep AI generatif modern diletakkan. Secara khusus, kami fokus pada tiga tindakan pengkodean model bahasa besar yang diberikan sebagai berikut:
- Kami mengeksplorasi contoh peringkasan dialog melalui AI generatif pada AWS dengan Instace-Type ML-M5-2XLarge. Ini berhasil dieksekusi dengan memasukkan ringkasan dialog dengan model bahasa besar (LLM) pra-terlatih Flan-T5 dari wajah peluk. Lebih lanjut, kami menggunakan rekayasa cepat yang merupakan konsep penting dalam model yayasan untuk pembuatan teks. Kami menggunakan inferensi zero-shot, inferensi satu-shot, dan kesimpulan beberapa-shot untuk menyimpulkan percobaan peringkasan dialog.
- Dalam percobaan kedua, kami mengeksplorasi konsep penting penyetelan fine pada model AI generatif dan sekali lagi kami bekerja pada percobaan peringkasan dialog. Sekali lagi penting untuk dicatat bahwa percobaan khusus ini dilakukan pada AWS dengan Instace-Type ML-M5-2XLarge. Setelah mengingat dataset minat kami, yang dalam hal ini adalah dialog yang memeluk dataset wajah, kami memuat model Flan-T5 yang sudah terlatih dan kemudian tokenize. Setelah menguji model dengan penukaran tembakan, kami menyempurnakan model dan kemudian kami mengevaluasi validitas LLM yang terlatih oleh metrik nakal. Setelah itu kami telah melakukan fine tuning, kami mengeksekusi parameter efisien fine-tuning (PEFT) yang merupakan istilah generik yang mencakup adaptasi peringkat rendah (LORA) dan ic percobaan yang disimpulkan dengan menghitung metrik nakal lagi untuk memeriksa validitas PEFT pada model.
- Terakhir, kami mempelajari cara menyempurnakan model Flan-T5 untuk menghasilkan konten yang kurang beracun dengan model hadiah kebencian meta AI. Setelah kami melakukan komitmen tradisional, kami melakukan fine tuning untuk mendetoksifikasi ringkasan dengan mengoptimalkan kebijakan pembelajaran penguatan terhadap model hadiah dengan menggunakan optimasi kebijakan proksimal (PPO). Sekali lagi, jangan lupa itu, kami melakukan semua ini di AWS dengan Instace-Type ML-M5-2XLarge.
Semua pengkodean ini tersedia selama kursus yang saya ikuti di https://www.coursera.org/learn/generative-ai-with-llms di Coursera. Sertifikat partisipasi aktif saya sudah diunggah dalam repositori ini.
