llm ollama llamaindex bootstrap

تطبيق bootstrap التوليد المتمثل في الاسترداد (RAG)

يعتمد قالب تطبيق RACT هذا على اتصال غير متصل ، ويستند إلى دروس Andrej Baranovskij. إنه يوفر نقطة انطلاق لبناء خط أنابيب الخرقة المحلي الخاص بك ، مستقلة عن واجهات برمجة التطبيقات عبر الإنترنت وخدمات LLM المستندة إلى السحابة مثل Openai. هذا يمكّن المطورين من تجربة ونشر تطبيقات الخرقة في البيئات الخاضعة للرقابة.

يمكن العثور على تطبيق FullStack UI الذي تم إنشاؤه باستخدام Create-Llama و Cupignated لهذا المشروع على https://github.com/tyrell/llm-ollama-llamaindex-bootstrap-ui

يوفر مدونتي المزيد من السياق والدافع والتفكير وراء هذه المشاريع.

المكدس

يعمل تطبيق RAG هذا على وضع عدم الاتصال بالكامل ، مع استخدام وحدة المعالجة المركزية المحلية لإنشاء/استرداد/ترتيب الاستجابات دون الحاجة إلى الوصول إلى الإنترنت. يعتمد نشر الخرقة هذا فقط على وحدة المعالجة المركزية المحلية للحساب. يرجى ملاحظة أن معالجة مجموعات البيانات الكبيرة أو استخدام النماذج المكثفة للموارد قد تبطئ الأداء.

1. نموذج لغة كبير - نستخدم Ollama (https://ollama.ai/) لتشغيل LLM محليًا. يمكن تكوين أي نموذج تدعمه Ollama لاستخدامه باستخدام ملف config.yml الموجود في هذا التطبيق.
2. متجر Vector - نستخدم Weaviate (https://weaviate.io) كمتجر متجه. ندير Weaviate كحاوية Docker. يمكن تكوين عنوان URL لمثيل Weaviate باستخدام ملف config.yml.
3. الفهرس - نستخدم llamaindex (https://www.llamaindex.ai) باعتباره جوهر هذا تطبيق الخرقة الذي يعمل كمؤشر لهياكل البيانات الخاصة بنا. رمز العينة الذي يوفره القالب يدخل ملفًا في الفهرس.
4. تضمينات المتجهات - نستخدم langchain (https://www.langchain.com) و uggingface (https://huggingface.co) للحفاظ على نموذج التضمين المحلي.

---

Quickstart

1. قم بتشغيل متجر Weaviate Local Vector مع Docker:

 docker compose up -d

2. تثبيت متطلبات Python:

 pip install -r requirements.txt

3. قم بتثبيت Ollama وسحب نموذج LLM المفضل المحدد في config.yml

4. نسخ ملفات PDF النص إلى مجلد data

5. قم بتشغيل البرنامج النصي ، لتحويل النص إلى تضمينات المتجهات وحفظه في Weaviate:

 python ingest.py

1. قم بتشغيل main.py لمعالجة البيانات باستخدام خط أنابيب LLM RAG المحدد في pipeline.py وإرجاع الإجابة:

 python main.py "Who are you?"

إجابة:

 Answer:
I am an AI language model, designed to assist and provide information based on the context provided. In this case, the context is related to an invoice from Chapman, Kim and Green to Rodriguez-Stevens for various items such as wine glasses, stemware storage, corkscrew parts, and stemless wine glasses.

Here are some key details from the invoice:
- Invoice number: 61356291
- Date of issue: 09/06/2012
- Seller: Chapman, Kim and Green
- Buyer: Rodriguez-Stevens
- VAT rate: 10%

The invoice includes several items with their respective quantities, unit measures (UM), net prices, net worth, gross worth, and taxes. The summary section provides the total net worth, VAT amount, and gross worth of the invoice.
==================================================
Time to retrieve answer: 37.36918904201593

يمكنك العثور على المزيد من المطالبات في propports.txt لاختبار تطبيق القالب. بمجرد أن تقرأ YO من خلال قاعدة الشفرة ، قم بتوسيع RACT إلى احتياجاتك المحددة.

رخصة

Apache 2.0

~ تيريل بيريرا