الصفحة الرئيسية>المتعلقة بالبرمجة>كود الذكاء الاصطناعي
تنزيل

Ai-A-Beashisted Coding & LLM Ergenering Engineering

مقدمة

يوفر هذا المستودع الموارد والعروض التوضيحية المتعلقة بالترميز المدعوم من AI ، ونماذج اللغة الكبيرة التلقائية (LLMS) ، وتقنيات الهندسة الفوري المتقدمة.

مواضيع مغطاة:

  1. الترميز بمساعدة AI
  2. نماذج لغة كبيرة الانحدار (LLMS)
  3. هندسة سريعة 201

الترميز بمساعدة AI

يحتوي المستودع على دفتر Jupyter ( AI_ASSISTED_CODING.ipynb ) الذي يوضح تقنيات الترميز بمساعدة AI باستخدام نماذج اللغة.

نماذج لغة الانحدار التلقائي

تتنبأ LLMs Autoregressed الكلمة التالية بناءً على نص الإدخال وتعمل كحابات احتمالية.

المفاهيم الرئيسية:

  • التنبؤ بكلمة التالية: بالنظر إلى بادئة ، يولد النموذج الكلمة التالية على الأرجح.
  • الطبيعة العشوائية: قد ينتج عن إدخال معين مخرجات مختلفة تم أخذ عينات منها من توزيعات الاحتمالات ، والتي يمكن أن تؤدي إلى تناقضات أو هلوسة.
  • حسابات الاحتمالات: تخصص نماذج اللغة احتمالات لتسلسلات الكلمات بناءً على الملاحظات السابقة.

أنواع نماذج اللغة الكبيرة:

  1. Base LLM (المدربين مسبقًا): تم تدريبه على شركة نصية كبيرة للتنبؤ بالكلمة التالية في جملة.
  2. LLM التي تم ضبطها في التعليمات (تم ضبطها بشكل دقيق): تم تحسينه لمتابعة التعليمات وتحسين دقة الاستجابة باستخدام تقنيات مثل:
    • صقل خاضع للإشراف (SFT)
    • التعلم التعزيز مع ردود الفعل البشرية (RLHF)
    • تحسين التفضيل المباشر (DPO)

أخذ العينات والمعلمات

المعلمات الرئيسية التي تتحكم في مخرجات النموذج:

  • درجة الحرارة: يتحكم العشوائية (القيم الأعلى = المزيد من الإبداع ، القيم المنخفضة = استجابات أكثر حتمية).
  • TOP-P (أخذ العينات النووية): الحد من اختيار الرمز المميز إلى مجموعة فرعية أكثر احتمالًا.
  • LogProbs: سجلات احتمالية سجلات لتصحيح الأخطاء وتحليل الثقة.
  • العقوبات:
    • عقوبة التردد: يقلل من تكرار الكلمات المتكررة.
    • عقوبة التواجد: يشجع المخرجات المتنوعة عن طريق تجنب العبارات المتكررة.
  • الرموز الرموز القصوى: حدود طول الاستجابة.
  • توقف التسلسلات: يحدد تسلسل الرمز المميز الذي يوقف توليد النص.
  • N & Best_of: يتحكم في عدد الإكمال الذي تم إنشاؤه.

هندسة سريعة 201

يشتمل المستودع على دفتر Notber ( PROMPT_ENGINEERING.ipynb ) مما يدل على تقنيات التحسين المطالبات لـ LLMs.

الموضوعات الأساسية:

  • فهم السلوك النموذج: مطالبات صقل لتحقيق الاستجابات المطلوبة.
  • التحكم في الإبداع والدقة: ضبط المعلمات للمخرجات المهيكلة والمتماسكة والذات ذات الصلة.
  • استجابات النموذج تصحيح الأخطاء: استخدام احتمالات السجل لتحسين المطالبات.

العرض التوضيحي والاستخدام

لاستكشاف المفاهيم ، قم بتشغيل أجهزة الكمبيوتر المحمولة Jupyter المقدمة:

  1. AI_ASSISTED_CODING.ipynb مظاهرات الترميز المدعومة من AI.
  2. PROMPT_ENGINEERING.ipynb - استراتيجيات هندسة مطالبة متقدمة.

مراجع

  • deeplearning.ai - هندسة chatgpt
  • Stanford NLP (CS224N)
  • أبحاث هندسة الذكاء الاصطناعي

للمساهمات ، افتح طلب سحب أو إنشاء مشكلة في هذا المستودع. ترميز سعيد!

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل