الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

جودة الكتاب المدرسي

يولد هذا المشروع بيانات طويلة جدًا للكتب المدرسية. إليك مثال رمزي 70 متر. يمكن أن تدير أجيال بالتوازي ، ضد Openai ، أو واجهة برمجة التطبيقات الخاصة بك. يمكن أن يولد الموضوعات من نقطة الصفر ، أو استخدام مجموعة من البذور التي تقدمها.

يستخدم المولد استرجاع لتحسين الجودة. بشكل افتراضي ، سوف يستخدم Serply لإجراء الاسترجاع ، ولكن يمكنك أيضًا استخدام Serpapi ، أو تعطيل الاسترجاع.

النواة قابلة للتوسيع ، بحيث يمكنك إضافة محولاتك الخاصة للاتصال ببرو واجهات برمجة التطبيقات الجديدة والتراجع.

التثبيت

المتطلبات الأساسية

  • بيثون 3.9+ (من الناحية المثالية 3.11)
  • ستحتاج إلى تثبيت Postgres. يمكنك تثبيته باستخدام brew install postgres على جهاز Mac.

يثبت

  • psql postgres -c "create database textbook;"
  • git clone https://github.com/VikParuchuri/textbook_quality.git
  • cd textbook_quality
  • poetry install
  • invoke migrate-dev

إعدادات

أولاً ، قم بإنشاء ملف local.env في الدليل الجذري لإعادة الريبو لتخزين مفاتيحك السرية. بدلاً من ذلك ، يمكنك تعيين أي مفتاح أدناه باعتباره Env var.

يمكنك رؤية جميع قيم التكوين المتاحة في app/settings.py .

مع Openai واسترجاع (أعلى جودة)

  • أضف مفتاح Openai الخاص بك ، مثل OPENAI_KEY=sk-xxxxxx
  • أضف مفتاحك المصل ( SERPLY_KEY="..." ) أو مفتاح serpapi ( SERPAPI_KEY="..." ).
  • إضافة SEARCH_BACKEND=serply أو SEARCH_BACKEND=serpapi لاستخدام الواجهة الخلفية المناسبة.

بشكل افتراضي ، سيستخدم هذا gpt-3.5 . يمكنك استخدام gpt-4 عن طريق تعيين env vars LLM_TYPE ، LLM_INSTRUCT_TYPE إلى gpt-4 . قد تكون قادرًا على الابتعاد عن إعداد LLM_EXTENDED_TYPE إلى gpt-4 أيضًا ، ولكن قد تحتاج إلى سياق أطول من 8K.

مع VLLM أو غيرها من واجهة برمجة التطبيقات والاسترجاع المتوافقة

  • اضبط OPENAI_KEY على قيمة مفتاح API الخاص بك ، أو قيمة وهمية.
  • SET OPENAI_BASE_URL إلى عنوان URL الخاص بـ API (مثل https://vllm-api.com/v1)
  • قم بتعيين إعدادات LLM_TYPE ، LLM_INSTRUCT_TYPE ، و LLM_EXTENDED_TYPE إلى اسم النموذج الخاص بك (مثل llama )
  • اضبط اسم النموذج و Max Tokens في إعداد LLM_TYPES .
  • اتبع التعليمات أعلاه لإعداد الاسترجاع.

يحتاج المولد بشكل مثالي إلى طول سياق يصل إلى 16k ، ولكن يمكنك الابتعاد عن 12k إذا كنت بحاجة إلى ذلك. إذا كنت قد قمت بتكوين نموذجك الخاص للكتاب المدرسي Gen (استنادًا إلى المطالبات المخبأة في هذا الريبو) ، فيمكنك استخدام إعدادات INCLUDE_EXAMPLES FINETUNED استخدام الرمز المميز.

دون استرجاع

  • تعيين SEARCH_BACKEND=none

الاستخدام

هناك ثلاثة نصوص رئيسية في الريبو. يمكنك تشغيل كل برنامج نصي على إخراج الناتج السابق. ستظهر جميع المخرجات افتراضيًا في app/data ، وهو DATA_DIR المحدد في الإعدادات.

توليد مواضيع من الصفر

يمكنك إدخال موضوع ، ملف تريد حفظ الموضوعات إليه ، وعدد التكرارات. سيتم تكريس الموضوعات.

مثال الاستخدام:

python topic_generator.py "computer science with python" python_cs_titles.json --iterations 50

زيادة الموضوعات من البذور

خذ ملفًا مع البذور الموجودة (في قائمة JSON المسطحة) ، وقم بزيادةها. يمكنك تمرير ملف الإخراج من مولد الموضوع كملف البذور ، أو استخدام البذور الخاصة بك. المجال هو علامة اختيارية لتقييد الموضوعات داخل المجال.

سيؤدي هذا أيضًا إلى تعديل الموضوعات بشكل دلالي.

مثال الاستخدام:

python topic_augmentor.py python_titles.json python_topics.json --domain python

إنشاء كتب مدرسية

من الألقاب

سيأخذ هذا ملفًا مع قائمة مسطحة من المواضيع ، وإنشاء كتاب مدرسي واحد لكل موضوع. العمال العمال يتحكم في عدد الأجيال المتوازية. خفضه إذا ضربت حدود المعدل.

مثال الاستخدام:

python book_generator.py topics.json books.jsonl --workers 5

يمكنك أيضًا تجاوز الإعدادات مع متغيرات البيئة (بدلاً من استخدام local.env ). سيستخدم هذا المثال واجهة برمجة تطبيقات VLLM بدلاً من Openai:

LLM_TYPE=llama LLM_INSTRUCT_TYPE=llama LLM_EXTENDED_TYPE=llama OPENAI_KEY="llama" OPENAI_BASE_URL="https://vllm-api.com/v1" python book_generator.py topics.json books.jsonl --workers 10

يمكنك رؤية جميع الخيارات عن طريق تشغيل python book_generator.py --help .

لاحظ أن الدورات التدريبية مخزنة مؤقتًا افتراضيًا ، لذا فإن تجديد دورة مع نفس الاسم مرتين لن تضغط على واجهة برمجة التطبيقات مرة أخرى. ذاكرة التخزين المؤقت خاصة بكل نموذج وكل موضوع. يمكنك تخطي ذاكرة التخزين المؤقت باستخدام خيار --revision لتحديد رقم المراجعة للدورات التدريبية.

من الخطوط العريضة

يمكنك أيضًا إنشاء كتاب من مخطط موجود عن طريق إنشاء ملف JSONL مع الحقول التالية:

  • topic - موضوع/عنوان الكتاب
  • outline - الخطوط العريضة للكتاب ، كقائمة JSON المسطحة. يجب أن يكون هذا بتنسيق محدد ، انظر "جدول المحتويات النظيفة" أدناه.
  • queries - ما يصل إلى 2 استعلامات البحث لاستخدامها لاسترجاع. إذا كنت لا ترغب في استخدام الاسترجاع ، فقم بتعيين هذا على قائمة فارغة.

طاولات محتويات نظيفة

سيستغرق هذا ملف JSONL مع جدول محتويات وعنوان موجود ، ومعالجته بالتنسيق الصحيح لتوليد الكتب.

مثال الاستخدام:

python toc_cleaner.py toc.jsonl clean_toc.jsonl

يجب أن يكون لـ toc.jsonl الحقول التالية في كل سطر:

  • title - عنوان الكتاب
  • toc - سلسلة تحتوي على جدول المحتويات. هذا يمكن أن يكون تنسيقا سيئا

تمتد

يمكنك تمديد هذا لإضافة محولات LLM الجديدة أو طرق الاسترجاع أو المهام. PRS مرحب بهم للغاية.

  • محولات LLM في app/llm/adaptors
  • طرق الاسترجاع في app/services/adaptors . قد تحتاج أيضًا إلى ضبط الإعدادات في services/generators/pdf.py
  • المهام في app/llm/generators

تصحيح الأخطاء

بشكل افتراضي ، سيتم إخفاء الكثير من الاستثناءات لتجنب ضوضاء وحدة التحكم. استخدم DEBUG=true لعرضها ، مثل هذا:

DEBUG=true python book_generator.py python_topics.json books.jsonl --max 5 --workers 5

يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل