efficient document search and summarization engine

Эффективный двигатель поиска и суммирования документов

Обзор

Эффективный двигатель поиска и суммирования документов - это мощный инструмент, предназначенный для повышения эффективности и ясности исследований путем интеграции передовых моделей крупных языков (LLMS), таких как CHATGPT и Llama. Этот проект использует передовые технологии для обеспечения бесшовного и эффективного опыта поиска и суммирования документов.

Функции

• Интеграция LLM : использует ведущие LLM для суммирования результатов исследований, повышая эффективность и ясность результатов исследований.
• RESTFUL API : предлагает надежный API для документа и поиска запросов, обеспечивая оптимизированные и точные результаты поиска.
• Векторные базы данных : реализует векторные базы данных для эффективного хранения и поиска, улучшая производительность поиска.
• Усовершенствованные алгоритмы : применяет косинусное сходство и кластеризацию K-средних, чтобы обеспечить точное извлечение текста и сопоставление запросов.

Технологии используются

• Python : основной язык программирования для разработки.
• FASTAPI : структура для построения RESTFUL API.
• Langchain : инструмент для интеграции языковых моделей.
• MongoDB : база данных для хранения документов и метаданных.
• Pinecone : векторная база данных для оптимизированного хранения и поиска запросов.

Установка

Чтобы настроить проект локально, выполните эти шаги:

1. Клонировать репозиторий :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Создайте виртуальную среду :

   python -m venv venv
   source venv/bin/activate

3. Установить зависимости :

   pip install -r requirements.txt

4. Установите переменные среды : создайте файл .env в корневом каталоге и добавьте настройки конфигурации.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Запустите приложение :

   uvicorn main:app --reload

Использование

Документация API

Доступ к API и дополнительную информацию можно получить с помощью Swagger. Как только приложение запускается, перейдите по http://localhost:8000/docs чтобы исследовать и взаимодействовать с конечными точками API.