Seerat e Nabi Model with Llama Index

Модель Seerat-e-Nabi с Llama Index

Этот проект представляет собой веб-приложение, которое использует бэкэнд FASTAPI для предоставления ответов на вопросы о модели SEERAT-E-NABI с использованием индекса Llama для векторного хранения и запросов.

Функции

• Интеграция FASTAPI : легкая веб -структура для обработки запросов API.
• Индекс Llama : использует индекс Llama для хранения и запроса векторов документов.
• Динамическая загрузка модели : автоматически загружает и сохраняет индекс, обеспечивая эффективные запросы.

Структура файла

• main.py : основной файл приложения с использованием fastapi для настройки конечных точек.
• llama_model.py : скрипт для загрузки данных, создать индекс и запросить его с помощью индекса Llama.
• clean.py : предварительные обработки необработанные данные для создания чистого набора данных, подходящего для индексации.

Ключевые компоненты

Приложение FASTAPI ( main.py )

• Конечные точки :
  • GET / : Простая проверка здоровья возвращается "OK".
  • GET /response/{question} : принимает вопрос и возвращает ответ модели.
• Конфигурация сервера : запускает сервер на port 8000 с включенной перезагрузкой.

Модель Llama ( llama_model.py )

• Нагрузка и индексация данных :
  • Загружает документы из указанного каталога.
  • Создает и сохраняет индекс векторного магазина.
• Обработка запросов :
  • Предоставляет функцию для запроса индекса и ответов.

Предварительная обработка данных ( clean.py )

• Очистка данных :
  • Удаляет не альфаномерные символы и пустые строки.
  • Отфильтруйте строки с менее чем тремя словами.
• Сохранить чистые данные : сохраняет предварительные данные в новый файл.

Проблемы и решения

• Интеграция модели : обеспечение бесшовной интеграции индекса LLAMA с FastAPI, требуемой тщательной обработкой загрузки и индексации данных.
• Предварительная обработка данных : очистка и подготовка данных для создания значимого индекса включала несколько этапов предварительной обработки.
• Эффективное запросы : внедрение системы для эффективного запроса индекса и предоставления ответов, требующих надежных механизмов индексации и обработки запросов.

Начиная

1. Клонировать репозиторий.
2. Установите требуемые зависимости.
3. Запустите приложение Fastapi.

git clone https://github.com/faisal-fida/seerat-e-nabi-model-llama-index.git
cd seerat-e-nabi-model-llama-index
pip install -r requirements.txt
uvicorn main:app --reload

Заключение

Этот проект демонстрирует интеграцию FASTAPI с индексом LLAMA для создания адаптивного веб -приложения, способного отвечать на вопросы на основе индексированных данных. Он подчеркивает сложности интеграции модели, предварительной обработки данных и эффективных запросов.

Не стесняйтесь вносить свой вклад или поднимать проблемы, если вы столкнетесь с какими -либо проблемами!