local rag qa engine

Местный тряпичный защитный документ QA Двигатель

Установка

Клонировать репо:

git https://github.com/pratapyash/local-rag-qa-engine
cd local-rag-qa-engine

Установите зависимости (требует поэзии):

poetry install

Принесите свой LLM (Llama3.2: 1b по умолчанию):

ollama pull llama3.2:1b

Запустите сервер Ollama

ollama serve

Начать рагбазу:

poetry run streamlit run app.py

Ingstor

Извлекат текст из PDF -документов и создает куски (используя семантический и символьный сплиттер), которые хранятся в векторной базе данных

Ретривер

Учитывая запрос, поиск аналогичных документов переворачивает результат и применяет цепный фильтр LLM, прежде чем возвращать ответ.

QA цепь

Объединяет LLM с ретривером, чтобы ответить на заданный вопрос

Технический стек

• Ollama - запустить местный LLM
• Langchain - приложения Build LLM -мощности
• Qdrant - векторный поиск/база данных
• Flashrank - быстрое перезаконник
• Fastembed - легкое и быстрое встроенное генерация
• Streamlit - создать пользовательский интерфейс для приложений данных
• PDFIUM - PDF -обработка и извлечение текста