qa_llm

Вопрос-ответный трубопровод с моделями VectordB и крупных языков (LLM)

Обзор:

Добро пожаловать в трубопровод, отвечающий на вопрос с Vectordb и крупными языковыми моделями (LLM). Этот проект направлен на создание эффективного и масштабируемого конвейера для вопросов, отвечающих на задачи с использованием CHROMADB, которая представляет собой векторную базу данных с открытым исходным кодом, в сочетании с LLAMA2, которая также является моделью крупного языка с открытым исходным кодом (LLM).

Рабочий процесс:

1. Пользовательский ввод: Пользователи предоставляют текстовые источники данных в таких форматах, как .pdf. Эти документы служат основой для получения ответов.

2. Загрузка документов: для эффективной загрузки и предварительной обработки документов используется документ Langchain.

3. Document Chunking: загруженные документы разделены на более мелкие, управляемые куски, чтобы повысить эффективность процесса ответа вопросам.

4. Встроенное хранилище в Vectordb (ChromADB): встроенные куски генерируются и хранятся в ChromADB, основной технологии VectordB, обеспечивая быстрый и точный поиск информации.

5. Обработка запросов: пользовательские запросы преобразуются в встраивание, что позволяет провести бесшовное сравнение с хранимым документом.

6. Поиск векторной базы данных: Vectordb запрашивается с помощью сгенерированных внедрений для получения соответствующих кусков информации, оптимизируя процесс ответа вопросам.

7. Обработка LLM (LLAMA2): Полученные встраивания передаются в LLAMA2, LLM, который генерирует контекстные и точные ответы на запросы пользователей.

Начиная

Чтобы начать трубопровод для вопросов, пользователи должны предоставить свои текстовые источники данных в поддерживаемых форматах (в настоящее время поддерживается формат: PDF, CSV, HTML, XLSX, DOCX, XML, JSON ). Следуйте следующему разделу, чтобы обеспечить правильную установку и конфигурацию зависимостей.

Как запустить гид

Следуйте этим шагам, чтобы успешно запустить трубопровод для вопросов:

1. Установите зависимости: убедитесь, что у вас установлены все необходимые зависимости. Запустите следующие команды в ноутбуке:

    !pip install langchain
   !pip install PyPDF
   !pip install sentence_transformers
   !pip install chromadb
   !pip install accelerate
   !pip install bitsandbytes
   !pip install jq
   !pip install unstructured
   

2. Настройте параметры:

   Откройте ноутбук и найдите следующие параметры:

   • JQ_SCHEMA: Настройте этот параметр в соответствии с вашей схемой данных. Определите структуру ваших текстовых данных для правильной загрузки и обработки.

   • input_path: укажите путь к своему источнику текстового данного данных, такого как файл .pdf. Убедитесь, что путь правильно установлен в ваш документ.

3. Объятие токена авторизации лица: обязательно получите токен авторизации от обнимающего лица для загрузки модели Llama2. Этот токен имеет решающее значение для доступа к модели. Установите токен в соответствующем разделе ноутбука.

4. Запустите ноутбук: запустите ноутбук Jupyter по ячейке Cell. Убедитесь, что каждая ячейка успешно выполняется без ошибок.

Вклад

Мы приветствуем вклад и отзывы сообщества. Независимо от того, выявляете ли вы проблемы, имеете предложения по улучшению или хотите расширить функциональность, ваш ввод является ценным для нас. Не стесняйтесь вносить свой вклад в проект. Спасибо за изучение нашего проекта.