GPT Awesome List Generator

مولد قائمة رهيبة

هذا برنامج Python يقوم تلقائيًا بإنشاء "قائمة رهيبة" لكلمة رئيسية محددة كملف تخفيض. "قائمة رائعة" هي قائمة بالموارد المتعلقة بموضوع محدد. في الوقت الحالي ، تشمل الموارد مشاريع GitHub ، ومقالات الباحث العلمي من Google ، ومقاطع فيديو YouTube ، والدورات ، والشرائح والعروض التقديمية ، والبرامج والأدوات والبودكاست. يتم إنشاء القائمة الرائعة تلقائيًا باستخدام نماذج GPT ؛ يمكنك الاختيار بين النماذج المختلفة لإنشاء القائمة ، مثل GPT 3.5 أو GPT 4.

العرض التوضيحي؟

Awesome_list.mp4

يثبت

1. تأكد من أنك تستخدم Python 3.10.
2. تثبيت الشعر من الموقع الرسمي.
3. تثبيت التبعيات باستخدام الشعر:

   poetry install

4. قم بإنشاء ملف .env بجذر المشروع وأضف متغير البيئة التالي:

    OPENAI_API_KEY=<your_openai_api_key>
   

إعداد مفتاح Google Cloud API ومعرف محرك البحث المخصص

المتطلبات الأساسية

حساب Google.

تعليمات

1. الحصول على مفتاح Google Cloud API

• قم بزيارة وحدة التحكم السحابة من Google.

• إذا لم تكن قد لم تقم بالفعل ، فقم بإنشاء مشروع جديد من خلال النقر فوق المنسدلة "SELECT A Project" في الزاوية العلوية اليمنى ، ثم انقر فوق "New Project".

• بمجرد إنشاء مشروعك وتحديده ، انتقل إلى قائمة التنقل (ثلاثة خطوط أفقية في الزاوية العلوية اليسرى) ، ثم انقر على "APIs & Services"> "بيانات الاعتماد".

• انقر على زر "إنشاء بيانات الاعتماد" وحدد "مفتاح API". بمجرد إنشائها ، سيتم عرض مفتاح API الخاص بك.

• انسخ مفتاح API الخاص بك وحفظه بشكل آمن. ستستخدم هذا المفتاح في التطبيق الخاص بك لمصادقة طلباتك.

2. قم بإعداد محرك بحث مخصص واحصل على معرف محرك البحث

• انتقل إلى صفحة Google Custom Search Homepage.

• انقر فوق "إنشاء محرك بحث مخصص".

• في قسم "المواقع إلى البحث" ، يمكنك تحديد مواقع الويب التي تريد البحث فيها أو اختيار "ابحث عن الويب بأكمله" للسماح بقدرات بحث أوسع. ومع ذلك ، إذا اخترت "ابحث عن الويب بأكمله" ، فتأكد من تبديل "البحث فقط عن المواقع" تحت قسم "المواقع إلى البحث".

• املأ حقول أخرى مطلوبة مثل اسم محرك البحث الخاص بك.

• انقر على زر "إنشاء" في الأسفل.

• بمجرد إنشاء محرك البحث الخاص بك ، سيتم توجيهك إلى صفحة الإعداد. هنا ، ابحث ونسخ "معرف محرك البحث" (يسمى أيضًا "CX" في بعض السياقات). ستستخدم هذا المعرف في التطبيق الخاص بك لتحديد محرك البحث المخصص الذي يجب استخدامه للاستعلامات.

3. تمكين واجهة برمجة تطبيقات البحث المخصص لمشروعك:

• قم بزيارة وحدة التحكم السحابة من Google.
• انتقل إلى "APIs & Services"> "مكتبة".
• ابحث عن "API البحث المخصص".
• انقر فوقه ، ويجب أن ترى زر "تمكين". انقر فوق هذا الزر لتمكين واجهة برمجة تطبيقات البحث المخصص لمشروعك.

أخيرًا ، أضف متغيرات البيئة التالية إلى ملف .env:

    GOOGLE_CLOUD_API_KEY='<google cloud api key>'
    CUSTOM_SEARCH_ENGINE_ID='<custom search engine id>'

الاستخدام

باستخدام STIPLELIT UI

لقد قدمنا ​​واجهة بديل لتشغيل هذا التطبيق. لاستخدامه:

1. قم بتشغيل تطبيق SPEREMLIT باستخدام الشعر:

   poetry run streamlit run streamlit_run.py

2. افتح http://localhost:8501

يمكنك بسهولة إدخال المعلمات اللازمة (مثل نوع النموذج والكلمة الرئيسية والوصف) من خلال واجهة المستخدم وإنشاء قائمتك الرائعة!

استخدام الكود المباشر

الطبقة الرئيسية المستخدمة في هذا المشروع هي AwesomeListGenerator . تقبل هذه الفئة المعلمات التالية:

• keyword : سلسلة تمثل الكلمة الرئيسية التي سيتم إنشاء القائمة الرائعة لها.
• description : سلسلة توفر وصفًا يتعلق بالكلمة الرئيسية.
• model : سلسلة تمثل نموذج Openai المراد استخدامه لإنشاء تخفيض الطلب (الافتراضي هو "GPT-3.5-TURBO-16K").
• data_extraction_batch_size : يوجد عدد صحيح يمثل عدد عناصر البيانات للمعالجة في كل دفعة (افتراضي هو 10). على سبيل المثال ، إذا كان حجم الدُفعة 10 ، فسيتم جلب البيانات من مصادر البيانات على دفعات من 10 (مثل 10 مشاريع github في وقت واحد).
• number_of_results : عدد صحيح يمثل عدد النتائج التي يجب إحضارها من كل مصدر بيانات (الافتراضي هو 20). عدد النتائج التي يجب جلبها من كل مصدر بيانات (الافتراضي هو 20). على سبيل المثال ، جلب 20 مشاريع github ثم معالجتها باستخدام نموذج LLM على دفعات بناءً على data_extraction_batch_size.

بعد تهيئة الفئة باستخدام هذه المعلمات ، استدعاء طريقة save_and_return_awesome_list لإنشاء ملف Markdown. هذا مثال:

 # Initialize an instance of the AwesomeListGenerator
generator = AwesomeListGenerator ( keyword = "Your Keyword" ,
                                 description = "Your Description" ,
                                 model = "gpt-3.5-turbo-16k" ,
                                 data_extraction_batch_size = 10 ,
                                 number_of_results = 20 )
# Generate and save the markdown
markdown_content = generator . save_and_return_awesome_list ()

سيقوم البرنامج بإنشاء ملف Markdown في دليل output الذي تم تسميته على اسم كلمة الأمر الرئيسي (على سبيل المثال ، Your_Keyword.md ). يحتوي هذا الملف على "القائمة الرائعة" التي تم إنشاؤها بواسطة البرنامج.

كيف تعمل؟ ️

يعمل برنامج AwesomeListGenerator في مرحلتين رئيسيتين: تجريد البيانات ومعالجة البيانات.

تجريف البيانات؟ ️

في مرحلة تجريف البيانات ، يجلب البرنامج موارد تتعلق بكلمة رئيسية مقدمة من مصادر بيانات متعددة. في الوقت الحالي ، تشمل الموارد مستودعات GitHub ، ومقالات الباحث العلمي من Google ، ومقاطع فيديو YouTube ، والبودكاست. يستخدم البرنامج كاشطات متخصصة لكل مصدر ، تم تصميم كل منها لجلب الموارد الأكثر صلة وأعلى جودة.

على سبيل المثال ، يجلب مكشطة Github مستودعات تتطابق مع الكلمة الرئيسية ، المرتبة بعدد النجوم (مؤشر شائع لأهمية المستودع وجودةها). وبالمثل ، يسترجع مكشطة الباحث العلمي من Google المقالات المتعلقة بالكلمة الرئيسية وفرزها عدد الاقتباس.

معالجة البيانات؟

بمجرد إلغاء البيانات ، يتم تمريرها إلى مرحلة معالجة البيانات. في هذه المرحلة ، يستخدم البرنامج نموذج GPT المحدد لمعالجة الموارد التي تم جلبها. يقوم النموذج بتصفية الموارد وتصنيفها على أساس الصلة للكلمة الرئيسية وجودة المحتوى والفائدة المحتملة للمستخدمين. يقوم نموذج GPT أيضًا بتنظيم البيانات في قائمة تخفيضات ، مع إضافة التنسيق اللازم مثل الروابط والأوصاف الموجزة.

والجدير بالذكر أن كل من عمليات الكشط والمعالجة يتم تنفيذها على دفعات. تتيح هذه العملية الدُفعات للبرنامج دعم أكبر عدد ممكن من النتائج حسب الحاجة ، استنادًا إلى الرقم المكون number_of_results و data_extraction_batch_size . وبهذه الطريقة ، يمكنك التحكم في مدى المعالجة في كل مرة ، مما يضمن استخدام الموارد الفعال.

التوسع والمساهمات

نتطلع إلى توسيع عدد مصادر البيانات في المستقبل. فيما يلي بعض الأفكار التي نضعها في الاعتبار:

• كشط الموارد من المتوسطة.
• ابحث عن الكتب ذات الصلة باستخدام كتب Google أو Amazon API.
• أحضر منشورات المدونة من Dev.To وغيرها من المنصات التي تركز على المطورين.
• استرداد المستندات من خوادم preprint مثل Arxiv و Biorxiv.
• استخراج الموارد ذات الصلة من منصات الدورات عبر الإنترنت مثل Coursera و Udemy و Khan Academy.

إذا كنت مهتمًا بالمساهمة ، فيمكنك اختيار إحدى المهام المذكورة أعلاه أو اقتراح أفكارك الخاصة. نرحب بجميع أنواع المساهمات ونقدر اهتمامك بمشروعنا!

قائمة مراجعة TODO

• إضافة قسم للمقالات
• إضافة قسم للدورات التدريبية
• إضافة قسم للكتب
• إضافة قسم للأوراق البحثية
• إضافة قسم للبودكاست
• أضف قسمًا للشرائح والعروض التقديمية
• أضف قسمًا للبرامج والأدوات
• إضافة قسم لمقاطع الفيديو
• إضافة قسم للمؤتمرات والأحداث
• دعم مجموعات ومواضيع github
• حالات استخدام إضافية
  • ليس فقط إنشاء "قوائم رهيبة"
  • تتبع التحديثات اليومية والأسبوعية والشهرية حول موضوع محدد
• تعزيز الموقع
  • ملاحة سهلة الاستخدام وسهلة
  • ميزة التعاون في الوقت الحقيقي
  • تصدير الخيارات بتنسيقات مختلفة
  • تصور الموارد التفاعلية
  • المرشحات المتقدمة والعلامات وخيارات الفرز
• خيارات نموذج GPT
  • دعم لمزيد من خيارات طراز GPT لتلبية احتياجات أبحاث المستخدم بشكل أفضل
• ميزة الإخطار
  • قم بتنبيه المستخدمين حول الموارد والتحديثات الجديدة في مجالات اهتمامهم
• منصة مساهمة المجتمع
  • السماح لأعضاء المجتمع بإضافة الموارد والتحقق منها وترتيبها
• تكامل API
  • السماح للمطورين الآخرين بالبناء على هذه الأداة

المشاريع التي تم إنشاؤها باستخدام أداتنا

• Awesome Auto-GPT-هذه القائمة الرائعة مخصصة لـ Auto-GPT ، وهو مشروع رائد مفتوح المصدر يعرض قدرات نموذج لغة GPT-4. إن GPT التلقائي هو في طليعة منظمة العفو الدولية ، حيث تقوم بسلاسة بسلاسة معا نموذج لغة كبيرة (LLM) "أفكار" لإنجاز أي أهداف محددة بشكل مستقل ، وبالتالي إعادة تعريف حدود ما يمكن أن تفعله الذكاء الاصطناعي.
• Awesome Automatic1111 (A1111) Webui مستقر - قائمة رائعة تركز على Automatic1111 (A1111) Webui مستقر ، واجهة متصفح تفاعلية لنموذج الانتشار المستقر. تعمل هذه الأداة على تبسيط عملية إنشاء صور واقعية من المدخلات النصية أو المرئية ، وواجهةها السهلة للاستخدام ، التي تم إنشاؤها على Gradio ، تجعل التفاعل المستند إلى الويب مع نماذج التعلم الآلي أكثر سهولة.
• Awesome AI Talking Heads - تركز هذه القائمة الرائعة على المجال الرائع لـ "Talking Head Generation" ، والذي يتضمن إنشاء تمثيلات رقمية نابضة بالحياة للرؤوس والوجوه البشرية. تتضمن القائمة مجموعة من الأوراق البحثية الرئيسية ، والخوارزميات الحديثة ، ومستودعات جيثب المهمة ، ومقاطع الفيديو التعليمية ، والمدونات الثاقبة ، وأكثر من ذلك. إنه بمثابة مورد واحد للباحثين من الذكاء الاصطناعى أو محترفي رسومات الكمبيوتر أو عشاق الذكاء الاصطناعى الذين يتطلعون إلى الخوض في عالم الحديث عن جيل.

نحن نحب رؤية القوائم الرائعة المذهلة التي يخلقها مجتمعنا. إذا كنت قد استخدمت أداةنا لإنشاء قائمة رائعة ، فلا تتردد في إخبارنا ، وسنظهر مشروعك هنا!

دعمنا ❤

هل وجدت هذا المشروع مفيدًا؟ إذا كان قد جلبت قيمة لك ، فيرجى إعطائنا على جيثب. لا تؤدي هذه الإيماءة إلى صحة جهودنا فحسب ، بل تساعد هذا المشروع أيضًا في الوصول إلى المزيد من الأشخاص ومواصلة التنمية.

لا تتردد في توتر المستودع ، أو المساهمة عن طريق تقديم طلبات السحب ، أو فتح مشكلة. ملاحظاتك ومساهماتك دائما موضع ترحيب!