300days__generativeai
Repositori ini, 300days_generativeai, didedikasikan untuk 300 hari pembelajaran berkelanjutan yang berfokus pada AI generatif, mempelajari buku -buku yang berbeda dan makalah penelitian setiap hari. Saya akan meninjau kembali pembelajaran masa lalu, memperbarui pemahaman saya, dan menyelam lebih dalam ke dalam seluk -beluk AI generatif.
| TIDAK | Buku | Status |
|---|
| 1 | Menguasai Pytorch: Buat dan sebarkan model pembelajaran mendalam dari CNN ke model multimodal, LLMS, dan seterusnya (Ashish Ranjan Jha) | Sedang berlangsung |
| 2 | Transfer Pembelajaran untuk Pemrosesan Bahasa Alami (Paul Azunre) | |
| 3 | Bangun model bahasa besar (dari awal) (MEAP) (Sebastian Raschka) | Sedang berlangsung |
| 4 | Pelajari AI Generatif dengan Pytorch (Mark Liu) | |
| 5 | AI Generatif In Action (MEAP V02) (Amit Bahree) | |
| 6 | Memahami Langchain: Panduan Komprehensif untuk Membuat Aplikasi Model Bahasa Futuristik (Jeffery Owens) | |
| 7 | Playbook Pengembang untuk Keamanan Model Bahasa Besar (Steve Wilson) | |
| TIDAK. | Makalah Penelitian | Topik | Status |
|---|
| 1 | Model Jaringan Saraf Konvolusi Lenet-5 yang dalam untuk pengenalan gambar | Lenet-5 | ✅ selesai |
| 2 | Semakin dalam dengan konvolusi | Googlenet | ✅ selesai |
Hari 1 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang menguasai Pytorch, saya fokus pada aspek dasar pembelajaran mendalam, terutama melalui tutorial "pembelajaran mendalam dengan Pytorch: A 60 Minute Blitz". Saya belajar tentang arsitektur jaringan saraf, termasuk lapisan yang sepenuhnya terhubung, konvolusional, dan berulang, dan mengeksplorasi modul -modul kunci Pytorch seperti Torch.Autograd untuk diferensiasi otomatis dan Torch.nn untuk membangun jaringan. Saya berlatih perambatan maju dan mundur, perhitungan kerugian, dan keturunan gradien, berpuncak pada pembangunan jaringan saraf feed-forward sederhana. Pada sesi yang akan datang, agenda saya termasuk menyelam mendalam ke dalam kekuatan jaringan saraf konvolusional (CNNs), evolusi arsitektur mereka, dan pengembangan model langsung seperti Lenet, Alexnet, VGG, Googlenet, Inception V3, Resnet, Densenet, dan EfficientNet, mendiskusikan signifikansi mereka dan di masa depan.
- Sumber Daya Tambahan:
- Pembelajaran mendalam dengan pytorch: blitz 60 menit
Hari 2 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang menguasai Pytorch, saya memiliki sesi singkat namun produktif menyelam ke dalam arsitektur CNN yang dalam. Saya mengeksplorasi mengapa CNN sangat efektif untuk tugas -tugas seperti klasifikasi gambar dan deteksi objek, menyoroti efisiensi parameternya, ekstraksi fitur otomatis, dan pembelajaran hierarkis. Saya meninjau berbagai inovasi arsitektur seperti spasial, kedalaman, lebar, dan CNN berbasis multi-jalur. Saya juga memeriksa implementasi Alexnet di Pytorch, dengan fokus pada struktur lapisannya dan bagaimana ia memanfaatkan fungsi putus sekolah dan aktivasi. Selain itu, saya mencatat ketersediaan berbagai model CNN yang telah ditentukan sebelumnya dalam paket TorchVision Pytorch, termasuk Alexnet, VGG, ResNet, dan lainnya.
Hari 3 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang menguasai Pytorch, saya telah menyiapkan dataset untuk tugas klasifikasi gambar, menerapkan proses penyempurnaan untuk model Alexnet yang sudah terlatih, dan membahas masalah perilaku deterministik yang muncul selama pelatihan. Saya membuat loader data, fungsi helper yang ditentukan untuk visualisasi dan fine-tuning model, dan memodifikasi lapisan akhir dari model pra-terlatih agar sesuai dengan jumlah kelas dalam dataset saya. Selama proses penyempurnaan, saya menemukan peringatan terkait dengan penggunaan operasi
adaptive_avg_pool2d_backward_cuda , yang tidak memiliki implementasi deterministik. Untuk mengatasi hal ini, saya belajar tentang berbagai pendekatan untuk memungkinkan perilaku deterministik di Pytorch, seperti secara selektif menonaktifkan determinisme untuk operasi yang bermasalah atau menggunakan warn_only=True ketika memungkinkan algoritma deterministik. Pengalaman langsung ini telah memberi saya pemahaman yang lebih dalam tentang pertimbangan praktis ketika menerapkan teknik pembelajaran yang mendalam ini untuk menggarisbawahi masalah gambar.
Hari 4 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang menguasai Pytorch, saya telah belajar bahwa Googlenet, juga dikenal sebagai Inception V1, adalah arsitektur jaringan saraf konvolusional yang inovatif yang memperkenalkan modul awal, yang menampilkan lapisan konvolusional paralel dengan berbagai ukuran kernel (1x1, 3x3, 5x5) untuk menangkap fitur multi-scale. Saya telah menemukan bahwa konvolusi 1x1 sangat penting untuk pengurangan dimensi, memungkinkan model untuk mempertahankan efisiensi dengan mengurangi kedalaman peta fitur tanpa mengubah dimensi spasial. Selain itu, saya telah belajar bahwa Googlenet menggunakan pengumpulan rata -rata global sebelum lapisan output untuk meminimalkan parameter dan meningkatkan ketahanan terhadap overfitting. Eksplorasi Inception V3 saya telah menunjukkan kepada saya bagaimana hal itu dibangun di atas desain asli dengan modul yang lebih kompleks dan lapisan tambahan, menghasilkan kinerja yang lebih baik. Secara keseluruhan, saya sekarang memiliki pemahaman yang lebih dalam tentang teknik inovatif di Googlenet dan Inception V3, termasuk modul awal, konvolusi 1x1, dan pengumpulan rata -rata global, yang secara signifikan telah memajukan bidang visi komputer.
Hari 5 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang Menguasai Pytorch, saya berupaya mengimplementasikan arsitektur Googlenet, dengan fokus pada konstruksi dan integrasi beberapa modul awal dalam jaringan. Saya menyempurnakan parameter dari setiap modul awal untuk mencerminkan konfigurasi yang dimaksud dengan benar, yang termasuk menyesuaikan lapisan konvolusional dan pooling untuk mengekstrak fitur secara efisien pada berbagai skala. Selain itu, saya memasukkan lapisan konvolusional awal dengan normalisasi batch dan aktivasi relu, diikuti oleh lapisan pengumpulan maksimal untuk downsampling. Saat mengerjakan model, saya juga mempertimbangkan pentingnya pengklasifikasi tambahan, yang biasanya termasuk dalam arsitektur Googlenet untuk membantu mengurangi masalah gradien menghilang dengan memberikan pengawasan menengah. Pengklasifikasi ini adalah versi yang lebih kecil dari pengklasifikasi utama, melekat pada lapisan sebelumnya, dan mereka meningkatkan kemampuan jaringan untuk mempelajari fitur yang bermakna selama pelatihan.
Hari 6 dari 300daysofgenerativeai
- Dalam sesi hari ini, saya membaca "Novel Deep Lenet-5 Convolutional Neural Network Model untuk pengenalan gambar," yang mengusulkan versi yang ditingkatkan dari arsitektur Lenet-5 tradisional yang bertujuan untuk meningkatkan kemampuan pengenalan gambar. Para penulis membahas keterbatasan pembelajaran mesin konvensional dan model CNN sebelumnya, seperti persyaratan perangkat keras yang tinggi dan kecepatan konvergensi yang lambat. Pendekatan baru mereka menyederhanakan struktur jaringan sambil meningkatkan kecepatan pelatihan dan memodifikasi fungsi aktivasi menjadi unit linear yang diperbaiki secara logaritmik (L RELU). Hasil eksperimen pada dataset MNIST menunjukkan bahwa model yang ditingkatkan mencapai tingkat pengakuan melebihi 98%, secara signifikan mengungguli algoritma canggih lainnya, sehingga memberikan referensi yang berharga untuk kemajuan dalam teknologi pengenalan gambar.
Hari 7 dari 300daysofgenerativeai
- Dalam sesi hari ini tentang "Bangun Model Bahasa Besar (dari awal)" oleh Sebastian Raschka, saya menggali dasar -dasar model bahasa besar (LLM) dan konstruksinya. Saya menjelajahi arsitektur transformator, yang mencakup encoder dan decoder, menekankan mekanisme perhatian yang memungkinkan model untuk fokus pada berbagai bagian teks input. Saya memeriksa dua tahap utama dalam membangun LLMS: pretraining pada korpora teks mentah besar untuk prediksi kata berikutnya, dan finetuning pada dataset yang lebih kecil dan berlabel untuk tugas-tugas tertentu. Selain itu, saya belajar tentang kemampuan generatif model seperti GPT dan perilaku mereka yang muncul, yang memungkinkan mereka untuk melakukan berbagai tugas, seperti terjemahan dan klasifikasi, bahkan tanpa pelatihan eksplisit untuk tugas -tugas tersebut.
