LLM_File_Parser
1.0.0
الإصدار 0.02 من محلل ملف LLM بواسطة LibraryOfCelsus.com
دليل التثبيت
تخطي إلى Changelog
خادم Discord
التغييرات الأخيرة
• 07/17 تمت إضافة مجالات المعرفة كفهرس منفصل بحيث يمكن البحث في المجالات الموجودة مع المتجهات.
• 07/12 الإصدار الأول
يعد هذا المشروع جزءًا من مشروع Aetherius الأكبر الخاص بي وهو مصمم لتبسيط عملية تحويل البيانات غير المنظمة إلى قواعد بيانات منظمة ومجموعات بيانات. يندرج البرنامج تحت Automl ويستخدم تقنيات LLM المختلفة لمسح وثائق غير منظمة وتلخيصها ، وتحويلها إلى بيانات منظمة مع الحد الأدنى من إدخال المستخدم.
أنواع الملفات المدعومة الحالية: .epub و .pdf و .txt و .png و .jpg و .jpeg و .mp4 و .mkv و .flv و .av و .av.
chatbots باستخدام هذا التنسيق:
� هذا المشروع يعمل كمحمل مستند لـ: https://github.com/libraryofcelsus/advanced_rag_chatbot
مساعد AI الرئيسي Github: https://github.com/libraryofcelsus/aetherius_ai_assistant
يتم تمويل أعمالي من الذكاء الاصطناعي عن طريق وظيفتي اليومية ، فكر في دعمني إذا كنت تقدر عملي.
انضم إلى Discord للحصول على المساعدة أو للحصول على المزيد من المعلومات المتعمقة!
Discord Server: https://discord.gg/pb5zcna7ze
اشترك في YouTube الخاص بي للفيديو البرامج التعليمية: https://www.youtube.com/@libraryofcelsus (قناة لم يتم إطلاقها بعد)
برامج التعليمات البرمجية الكود المتاحة على: https://www.libraryofcelsus.com/research/public/code-tutorials/
صنع بواسطة: https://github.com/libraryofcelsus
0.02
• مجالات المعرفة المضافة كفهرس منفصل بحيث يمكن البحث في المجالات الحالية مع المتجهات.
0.01
• الإصدار الأول
قم بتنزيل مجلد Project Zip بالضغط على قائمة القائمة المنسدلة <> Code.
1. تثبيت Python 3.10.6 ، تأكد من إضافته إلى المسار: https://www.python.org/downloads/release/python-3106/
2. قم بتشغيل "install_requirements.bat" لتثبيت التبعيات المطلوبة. سيقوم الخفافيش بتثبيت GIT و Poppler و Tesseract و FFMPEG وتبعيات Python اللازمة.
(إذا حصلت على خطأ عند تثبيت المتطلبات تشغيل: Python -M Pip Cache Purge )
3. إعداد qdrant أو marqo db. لتغيير ما يتم استخدام DB ، قم بتحرير مفتاح "Vector_DB" في ./settings.json. QDrant هو الافتراضي.
مستندات QDrant: https://qdrant.tech/documentation/guides/installation/
مستندات Marqo: https://docs.marqo.ai/2.9/
� لاستخدام خادم QDrant محلي ، قم أولاً بتثبيت Docker: https://www.docker.com.
النوع التالي: Docker سحب QDrant/QDrant: v1.9.1 في موجه الأوامر.
بعد الانتهاء من التنزيل ، اكتب Docker Run -P 6333: 6333 QDrant/Qdrant: v1.9.1
لاستخدام خادم Marqo المحلي ، قم أولاً بتثبيت Docker: https://www.docker.com.
النوع التالي: Docker سحب marqoai/marqo: الأحدث في موجه الأوامر.
بعد الانتهاء من التنزيل ، اكتب Docker Run -Name Marqo -Gpus All -P 8882: 8882 Marqoai/Marqo: أحدث
(إذا أعطى خطأ ، تحقق من علامة تبويب حاويات Docker لحاوية جديدة واضغط على زر البدء. في بعض الأحيان يفشل في البدء.)
انظر: https://docs.docker.com/desktop/backup-and-restore/ لكيفية إجراء نسخ احتياطية.
بمجرد تشغيل خادم DB Vector المحلي ، يجب اكتشافه تلقائيًا بواسطة البرامج النصية.
6. تثبيت واجهة برمجة التطبيقات المطلوبة. (غير مطلوب إذا كنت تستخدم Openai) لتغيير ما يتم استخدام API ، قم بتحرير مفتاح "API" في ./settings.json
https://github.com/Oobabooga/text-generation-webui
https://github.com/lostruins/koboldcpp
8. قم بتشغيل برنامج نصي مع أحد الجري _*. BAT
9. قم بتغيير المعلومات الموجودة داخل علامة التبويب "الإعدادات" إلى تفضيلاتك.
10. ضع ملفًا في المجلد المقابل في دليل ./Uploads. سيتم إنشاء مجلد التحميل عند تشغيل البرنامج النصي لمعالجة الملفات لأول مرة.
للحصول على الهمس مع CUDA ، قد تحتاج إلى تشغيل الأوامر:
. Venv Scripts Activate
PIP قم بإلغاء تثبيت Torch Torchaudio
PIP تثبيت torch torchvision torchaudio -f https://download.pytorch.org/whl/cu118/torch_stable.html
إذا كنت ترغب في تغيير التنسيق الذي يتم فيه تحميل البيانات إلى DECTOR DB ، فيمكن العثور على البرامج النصية للتحميل في ./resources/DB_UPLOAD
في يناير 2023 ، واجهت تجربتي الافتتاحية مع ChatGPT و LLMS بشكل عام. منذ تلك اللحظة ، كنت مهووسًا بعمق بذكاء الذكاء الاصطناعى ، وتكريس ساعات لا تحصى كل يوم لدراستها والتجربة العملية.
Discord: Libraryofcelsus -> اسم المستخدم القديم: Celsus#0262
Mega Chat: https://mega.nz/c !pmnmeizq
