Text Embeddings API

Текстовые встраиваемые API

Этот проект предоставляет API REST для генерации текстовых встроений с использованием модели трансформаторов предложений. Он построен с использованием колбы и направлена ​​на упрощение процесса преобразования текста в встраивания для различных задач NLP.

Функции

• Генерация текста : преобразование входного текста в встраивания с использованием модели BAAI/bge-base-zh .
• Обработка ошибок : надежная обработка ошибок для управления пропущенными полями и неожиданными ошибками.
• Регистрация : Комплексная регистрация для мониторинга запросов API и отладки.

Использование

API конечная точка

• Post / : принимает полезную нагрузку JSON с text полем и возвращает соответствующие вставки.

Пример запроса

curl -X POST http:// < server_address > / -H " Content-Type: application/json " -d ' {"text": "Your text here"} '

Пример ответа

{
  "Embeddings" : [ ... ]
}

Сложность и проблемы

1. Модельная интеграция

• Сложность : интеграция модели трансформаторов предложений и обеспечение правильной загрузки.
• Решение : использовал SentenceTransformer из пакета sentence_transformers для загрузки предварительно обученной модели.

2. Обработка ошибок

• Сложность : изящно обрабатывать ошибки, такие как отсутствующие поля или сбои модели.
• Решение : реализованные блоки Try-Except для улавливания и журнала ошибок, возвращая соответствующие коды состояния HTTP.

3. Лесная заготовка

• Сложность : обеспечение комплексного регистрации для отладки и мониторинга.
• Решение : настроено журналирование для захвата всех уровней журналов и включает подробные сообщения журнала.

Начиная

Предварительные условия

• Python 3.6+
• Колба
• ПРЕДЛОЖЕНИЯ Трансформаторы

Установка

1. Клонировать репозиторий:

   git clone https://github.com/faisal-fida/text-embeddings-API.git
   cd text-embeddings-API

2. Установить зависимости:

   pip install -r requirements.txt

3. Запустите приложение:

   python main.py

Заключение

Этот API обеспечивает эффективный и простой подход к созданию встроений текста, с надежной обработкой ошибок и регистрацией для обеспечения надежности. Он идеально подходит для приложений, нуждающихся в быстрой и точном представлении текста для задач NLP.