ClassGPT

classgpt

chatgpt لشرائح المحاضرة الخاصة بي

بنيت مع التدفق ، مدعوم من llamaindex و langchain.

يستخدم أحدث API ChatGPT من Openai.

مستوحاة من Athensgpt

APP DEMO

DEMO.MP4

كيف يعمل هذا

1. PARSES PDF مع PYPDF
2. البناء الفهرس مع GPTSimpleVectorIndex 's Llamaindex
   • يتم استخدام نموذج text-embedding-ada-002
   • انظر صفحة فهرس متجر Vector لمعرفة المزيد
   • إليك فهرس عينة
3. يتم تخزين الفهارس والملفات على S3
4. الاستعلام عن الفهرس
   • يستخدم أحدث طراز ChatGpt gpt-3.5-turbo

الاستخدام

التكوين والأسرار

1. تكوين AWS (QuickStart)

    aws configure

2. قم بإنشاء دلو S3 باسم فريد

3. قم بتغيير اسم الجرافة في قاعدة الشفرة (ابحث عن bucket_name = "classgpt" إلى كل ما قمت بإنشائه.

4. إعادة تسمية [.env.local.example] إلى .env وإضافة بيانات اعتماد Openai الخاصة بك

محليا

1. إنشاء بيثون بيئة

    conda create -n classgpt python=3.9
    conda activate classgpt

2. تثبيت التبعيات

    pip install -r requirements.txt

3. تشغيل تطبيق STREMLIT

    cd app/
    streamlit run app/01_❓_Ask.py

عامل ميناء

بديل ، يمكنك استخدام Docker

    docker compose up

ثم افتح علامة تبويب جديدة وانتقل إلى http: // localhost: 8501/

تودو

• الوضع المحلي للتطبيق (بدون S3)
  • المتغير العالمي use_s3 للتبديل بين الوضع المحلي و S3
• نشر التطبيق لتبديل السحابة
  • لديك مربع إدخال لمفتاح Openai
  • يستخدم Pyarrow المحلي FS لتخزين الملفات
• رمز تحديث لتحديث Langchain الجديد
• مطالبات مخصصة وإعدادات تعديل
  • قم بإنشاء صفحة إعدادات للتبديل معلمات النموذج وتوفير مثال على مطالبات مخصصة
• أضف القدرة على الاستعلام على ملفات متعددة
  • يؤلف مؤشرات من محاضرات متعددة والاستعلام عليها جميعًا
  • حلقة من خلال جميع الفهرس الحالي ، وإنشاء تلك التي لم يتم إنشاؤها ، وتكوينها معًا
  • مراجع
    • التوافق - وثائق Llamaindex
    • gpt_index/composableIndices.ipynb
    • اختبار استعلامات معقدة على مستندات متعددة

التعليمات

الرموز

يمكن التفكير في الرموز على أنها قطع من الكلمات. قبل معالجة API المطالبات ، يتم تقسيم المدخلات إلى الرموز. لا يتم قطع الرموز هذه بالضبط حيث تبدأ الكلمات أو نهاية - يمكن أن تشمل الرموز المساحات الزائدة وحتى الكلمات الفرعية. فيما يلي بعض قواعد الإبهام المفيدة لفهم الرموز من حيث الأطوال:

• 1 رمز ~ = 4 chars باللغة الإنجليزية
• 1 رمز ~ = ¾ كلمات
• 100 رمز ~ = 75 كلمة
• 1-2 جملة ~ = 30 رمز
• 1 فقرة ~ = 100 رمز
• 1500 كلمة ~ = 2048 الرموز

جرب أداة Openai Tokenizer

مصدر

التضمين

التضمين هو متجه (قائمة) من أرقام النقاط العائمة. المسافة بين اثنين من المتجهات تقيس علاقتها. المسافات الصغيرة تشير إلى ارتفاع العلاقة ومسافات كبيرة تشير إلى انخفاض العلاقة.

بالنسبة إلى text-embedding-ada-002 ، تبلغ التكلفة 0.0004 دولار / 1 كيلو رموز أو 3000 صفحة / دولار

• التضمينات - Openai API
• ما هي التضمينات الكلمة والجملة؟

النماذج

بالنسبة إلى gpt-3.5-turbo Model (ChatGptapi) تبلغ تكلفة $0.002 / 1K tokens

لنموذج text-davinci-003 ، التكلفة هي $0.02 / 1K tokens

• إكمال الدردشة - Openai API

مراجع

التدفق

• زيادة الحد من st.file_uploader
• st.cache_resource - مستندات التدفق
• حالة الجلسة
• Hayabhay/Whisper-Ui: Streamlit UI لـ Openai's Whisper

deplyoment

• دليل النشر عبر التدفق (WIKI) - النشر - STREMLIT
• كيفية نشر تطبيق بديل على AWS؟ الجزء 3

llamaindex

• نمط استخدام Llamaindex
• فهرس الادخار

تحميل البيانات

• PDF Loader
• لاما هوب جيثب ريبو
• فئة الوثيقة
• PDFREADER فئة

متعدد الوسائط

• llama_index/multimodal.ipynb في main

chatgpt

• gpt_index/simpleIndexDemo-CHATGPT.IPYNB

لانجشين

• gpt_index/langchaindemo.ipynb
• Openaichat

Boto3

• BOTO3 file_upload هل تحقق مما إذا كان الملف موجودًا
• Boto 3: Resource vs Client
• كتابة JSON لتقديم ملف في S3 Bucket

الاشياء Docker

• Amazon Web Services - ما هي أفضل طريقة لتمرير بيانات اعتماد AWS إلى حاوية Docker؟
• Docker-Compose Up Fail في الفشل بسبب: خطأ: لا يمكن العثور على برنامج التحويل البرمجي الصدأ · العدد رقم 572 · Acheong08/ChatGpt
• Linux - عند تثبيت أدوات الصدأ في Docker ، لا يعمل أمر Bash source
• تثبيت البرامج - كيفية تثبيت حزمة مع APT بدون "هل تريد متابعة [Y/N]؟" اِسْتَدْعَى؟ - اسأل أوبونتو
• كيفية استخدام Sudo داخل حاوية Docker؟