300Days__GenerativeAI

300Days__generativeai

يكرس هذا المستودع ، 300days_generativeai ، لمدة 300 يوم من التعلم المستمر الذي يركز على الذكاء الاصطناعى التوليدي ، ودراسة الكتب والأوراق البحثية المختلفة يوميًا. سأعيد النظر في الماضي ، وتحديث فهمي ، والغطس بشكل أعمق في تعقيدات الذكاء الاصطناعي.

لا	كتاب	حالة
1	إتقان Pytorch: إنشاء ونشر نماذج التعلم العميق من CNNs إلى النماذج متعددة الوسائط ، LLMS ، وما بعدها (Ashish Ranjan Jha)	مستمر
2	نقل التعلم لمعالجة اللغة الطبيعية (Paul Azunre)
3	بناء نموذج لغة كبير (من نقطة الصفر) (MIEP) (Sebastian Raschka)	مستمر
4	تعلم الذكاء الاصطناعي مع Pytorch (Mark Liu)
5	AI التوليدي في العمل (Meap V02) (Amit Bahree)
6	فهم Langchain: دليل شامل لصياغة تطبيقات نموذج اللغة المستقبلية (Jeffery Owens)
7	كتاب اللعب للمطور لأمن نموذج اللغة الكبير (ستيف ويلسون)

لا.	ورقة البحث	عنوان	حالة
1	نموذج جديد لعلم الشبكة العصبية العميقة Lenet-5 للتعرف على الصور	LENET-5	✅ الانتهاء
2	تعمق أكثر مع الملاحظات	googlenet	✅ الانتهاء

اليوم 1 من 300 يوم

• في جلسة اليوم حول إتقان Pytorch ، ركزت على الجوانب التأسيسية للتعلم العميق ، وخاصة من خلال برنامج "التعلم العميق مع Pytorch: A 60 دقيقة Blitz". لقد تعلمت عن بنيات الشبكة العصبية ، بما في ذلك الطبقات المتكررة والتلافئة والمتكررة بالكامل ، واستكشفت الوحدات الرئيسية لـ Pytorch مثل Torch.autograd للتمايز التلقائي و torch.nn لشبكات البناء. لقد مارست الانتشار إلى الأمام والخلف ، وحساب الخسارة ، ونسب التدرج ، وبلغت ذروتها في بناء شبكة عصبية بسيطة للتغذية. في الجلسات القادمة ، تتضمن أجندتي غوصًا عميقًا في قوة الشبكات العصبية التلافيفية (CNNs) ، وتطورها المعماري ، وتطوير التدريب العملي على نماذج مثل Lenet و Alexnet و VGG و Googlenet و Inception V3 و Resnet و Densenet و Refificnets ، ومناقشاتها المستقبلية والمستقبلات في التعلم العميق.
• مورد إضافي:
  • التعلم العميق مع Pytorch: Blitz 60 دقيقة

اليوم 2 من 300 يوم

• في جلسة اليوم حول إتقان Pytorch ، لدي جلسة موجزة ولكن مثمرة تغوص في بنية CNN العميقة. لقد استكشفت سبب فعاليات CNNs للمهام مثل تصنيف الصور والكشف عن الكائنات ، وتسليط الضوء على كفاءة المعلمة الخاصة بها ، واستخراج الميزات التلقائية ، والتعلم الهرمي. لقد راجعت العديد من الابتكارات المعمارية مثل CNNs المكانية والعمق والعرض والـ CNN متعدد المسارات. درست أيضًا تطبيق Alexnet في Pytorch ، مع التركيز على بنية الطبقة وكيفية الاستفادة من وظائف التسرب والتنشيط. بالإضافة إلى ذلك ، لاحظت توافر مختلف نماذج CNN المحددة مسبقًا في حزمة Torchvision الخاصة بـ Pytorch ، بما في ذلك Alexnet و VGG و Resnet وغيرها.

اليوم 3 من 300 يوم

• في جلسة اليوم حول إتقان Pytorch ، قمت بإعداد مجموعة بيانات لمهمة تصنيف الصور ، وقمت بتطبيق عملية صقل لنموذج Alexnet تم تدريبها مسبقًا ، وتناولت مشكلة سلوكية حتمية نشأت أثناء التدريب. لقد قمت بإنشاء لوادر البيانات ، وظائف المساعد المحددة للتصور ونموذج الضبط الدقيق ، وقمت بتعديل الطبقة النهائية من النموذج الذي تم تدريبه مسبقًا لمطابقة عدد الفئات في مجموعة البيانات الخاصة بي. أثناء عملية الضبط ، واجهت تحذيرًا يتعلق باستخدام عملية adaptive_avg_pool2d_backward_cuda ، والتي لا تحتوي على تنفيذ حتمي. لمعالجة ذلك ، تعلمت عن الأساليب المختلفة لتمكين السلوك الحتمي في Pytorch ، مثل تعطيل الحتمية بشكل انتقائي للتشغيل الإشكالي أو استخدام warn_only=True عند تمكين الخوارزميات الحتمية. لقد زودتني هذه التجربة العملية بفهم أعمق للاعتبارات العملية عند تطبيق تقنيات التعلم العميقة.

اليوم 4 من 300 يوم

• في جلسة اليوم حول إتقان Pytorch ، تعلمت أن Googlenet ، المعروف أيضًا باسم Inception V1 ، هي بنية شبكية عصبية تلافيفية رائدة قدمت وحدة الإنشاء ، والتي تتميز بسمات تلافيفية متوازية بأحجام kernel مختلفة (1x1 ، 3x3 ، 5 × 5). لقد اكتشفت أن 1x1 تلوينات ضرورية لتقليل الأبعاد ، مما يسمح للنموذج بالحفاظ على الكفاءة عن طريق تقليل عمق خرائط الميزات دون تغيير الأبعاد المكانية. بالإضافة إلى ذلك ، لقد تعلمت أن GoogleNet توظف متوسط ​​التجميع العالمي قبل طبقة الإخراج لتقليل المعلمات وتعزيز المتانة ضد الزائد. لقد أوضح لي استكشاف Inception V3 كيف يعتمد على التصميم الأصلي مع وحدات أكثر تعقيدًا وطبقات إضافية ، مما يؤدي إلى تحسين الأداء. بشكل عام ، لدي الآن فهم أعمق للتقنيات المبتكرة في googlenet و inception v3 ، بما في ذلك الوحدات النمطية للبدء ، والتلوين 1x1 ، وتجميع المتوسط ​​العالمي ، والتي تقدمت بشكل كبير في مجال رؤية الكمبيوتر.

اليوم 5 من 300 يوم

• في جلسة اليوم حول إتقان Pytorch ، عملت على تنفيذ بنية Googlenet ، مع التركيز على بناء وتكامل وحدات التأسيس المتعددة داخل الشبكة. لقد قمت بتحسين معلمات كل وحدة إنسوت لتعكس بشكل صحيح التكوين المقصود ، والتي تضمنت ضبط طبقات تلفيكية وتجميع لاستخراج الميزات بكفاءة على مقاييس مختلفة. بالإضافة إلى ذلك ، قمت بدمج الطبقة التلافيفية الأولية مع تطبيع الدُفعات وتفعيل RELU ، تليها طبقات تجميع MAX للتسجيل. أثناء العمل على النموذج ، اعتبرت أيضًا أهمية المصنفات المساعدة ، والتي عادة ما يتم تضمينها في بنية Googlenet للمساعدة في تخفيف مشكلة التدرج المتلازم من خلال توفير الإشراف المتوسط. هذه المصنفات هي إصدارات أصغر من المصنف الرئيسي ، المرتبطة بالطبقات السابقة ، وهي تعمل على تحسين قدرة الشبكة على تعلم ميزات ذات معنى أثناء التدريب.

اليوم 6 من 300 يوم

• في جلسة اليوم ، قرأت "نموذج الشبكة العصبية" العميقة في Lenet-5 الجديدة للتعرف على الصور "، والذي يقترح نسخة محسّنة من بنية LENET-5 التقليدية التي تهدف إلى تحسين إمكانات التعرف على الصور. يعالج المؤلفون قيود التعلم الآلي التقليدي ونماذج CNN السابقة ، مثل متطلبات الأجهزة العالية وسرعات التقارب البطيئة. يقوم نهجهم الجديد بتبسيط بنية الشبكة مع تعزيز سرعة التدريب وتعديل وظيفة التنشيط إلى وحدة خطية مصححة لوغاريتمية (L RELU). توضح النتائج التجريبية على مجموعة بيانات MNIST أن النموذج المحسن يحقق معدل اعتراف يتجاوز 98 ٪ ، يتفوق بشكل كبير على خوارزميات أخرى على أحدث طراز ، وبالتالي توفير مرجع قيمة للتقدم في تكنولوجيا التعرف على الصور.

اليوم 7 من 300 يوم

• في جلسة اليوم حول "بناء نموذج لغة كبير (من نقطة الصفر)" من تأليف سيباستيان راشكا ، قمت بالتعرف على أساسيات نماذج اللغة الكبيرة (LLMS) وبناءها. لقد استكشفت بنية المحولات ، والتي تتضمن كل من المشفرات وفك الترميز ، مع التركيز على آلية الاهتمام الذاتي التي تمكن النماذج من التركيز على أجزاء مختلفة من نص الإدخال. لقد درست المرحلتين الرئيسيتين في Building LLMs: PretReing على مجموعة نصية كبيرة خام للتنبؤ بكلمة التالية ، والتعبير عن مجموعات البيانات الأصغر المسمى لمهام محددة. بالإضافة إلى ذلك ، تعلمت عن القدرات التوليدية لنماذج مثل GPT وسلوكياتها الناشئة ، والتي تسمح لهم بأداء مجموعة متنوعة من المهام ، مثل الترجمة والتصنيف ، حتى بدون تدريب صريح لتلك المهام.