custom rag app

Приложение Custom Rag

Общий

Приложение, которое использует streamlit, чтобы предложить удобный интерфейс для создания тряпичного трубопровода. Приложение позволяет пользователю загружать свои собственные PDF -файлы, которые затем обрабатываются и хранятся в новой (или существующей) векторной базе данных.

Затем пользователь может запросить базу данных и получить наиболее релевантный ответ, сгенерированный из модели LLM. LLM, который мы решили использовать, - это модель Gemma: 2b, и для модели служения мы используем Ollama.

Приложение также предлагает возможность удалить существующую базу данных, хотя в настоящее время эта функция ограничена для Windows.

Настраивать

Чтобы запустить приложение, сначала вам нужно клонировать этот репозиторий. Это можно сделать с помощью команды:

git clone https://github.com/Jimlibo/custom-rag-app.git

После того, как вы клонировали репозиторий, вы можете перейти к каталогу приложения:

 cd custom-rag-app

Запустить с помощью Docker

Если у вас установлен Docker и Docker-Compose, вы можете запустить приложение со следующими командами:

docker-compose up

Запустить с помощью потока

Если у вас нет установленного Docker, вы можете сначала установить необходимые пакеты из TEDS.TXT, а затем запустить приложение через потоковую связь. Это можно сделать со следующими командами:

 cd src
pip install -r requirements.txt
streamlit run app.py

Чтобы сделать вывод на LLM, вам также необходимо выполнить услуги Ollama. Если вы впервые запускаете приложение, вы должны вытащить Gemma: 2B -модель из репозитория Ollama, прежде чем обслуживать его. Чтобы вытащить модель, откройте другой терминал и выполните команду:

ollama pull gemma:2b

Чтобы обслуживать модель, запустите:

ollama serve

️ Если приложение не открывается автоматически, вы можете перейти на http: // localhost: 8501/в браузере по вашему выбору.

Лицензия

Распределено по лицензии MIT. Смотрите лицензию для получения дополнительной информации.