تطبيق يستخدم STREMLIT لتقديم واجهة سهلة الاستخدام لإنشاء خط أنابيب خرقة. يسمح التطبيق للمستخدم بتحميل FIEs/PDF الخاص به ، والتي تتم معالجتها وتخزينها بعد ذلك في قاعدة بيانات متجه جديدة (أو موجودة).
يمكن للمستخدم بعد ذلك الاستعلام عن قاعدة البيانات ، وتلقي الاستجابة الأكثر صلة التي تم إنشاؤها من نموذج LLM. LLM التي اخترنا استخدامها هي نموذج GEMMA: 2B ، وللخدمة النموذجية نستخدم Ollama.
يوفر التطبيق أيضًا القدرة على حذف قاعدة بيانات موجودة ، على الرغم من أن هذه الوظيفة حاليًا محدودة لنظام التشغيل Windows.
من أجل تشغيل التطبيق ، تحتاج أولاً إلى استنساخ هذا المستودع. يمكن القيام بذلك مع الأمر:
git clone https://github.com/Jimlibo/custom-rag-app.gitبعد أن استنساخ المستودع ، يمكنك الانتقال إلى دليل التطبيق:
cd custom-rag-appإذا قمت بتثبيت Docker و Docker-Cormpose ، فيمكنك تشغيل التطبيق مع الأوامر التالية:
docker-compose upإذا لم يكن لديك تثبيت Docker ، فيمكنك أولاً تثبيت الحزم المطلوبة من المتطلبات. يمكن القيام بذلك بالأوامر التالية:
cd src
pip install -r requirements.txt
streamlit run app.pyمن أجل تشغيل الاستدلال على LLM ، تحتاج أيضًا إلى تشغيل خدمة Ollama. إذا كانت هذه هي المرة الأولى التي تقوم فيها بتشغيل التطبيق ، فيجب عليك سحب نموذج Gemma: 2B من مستودع Ollama قبل تقديمه. لسحب النموذج ، فتح محطة أخرى وتنفيذ الأمر:
ollama pull gemma:2bلخدمة النموذج ، قم بتشغيل:
ollama serveموزعة تحت رخصة معهد ماساتشوستس للتكنولوجيا. انظر الترخيص لمزيد من المعلومات.