Text Embeddings API

텍스트 임베딩 API

이 프로젝트는 문장 변압기 모델을 사용하여 텍스트 임베딩을 생성하기위한 REST API를 제공합니다. 플라스크를 사용하여 구축되었으며 다양한 NLP 작업을 위해 텍스트를 임베딩으로 변환하는 프로세스를 단순화하는 것을 목표로합니다.

특징

• 텍스트 임베딩 생성 : BAAI/bge-base-zh 모델을 사용하여 입력 텍스트를 임베딩으로 변환합니다.
• 오류 처리 : 누락 된 필드 및 예기치 않은 오류를 관리하기위한 강력한 오류 처리.
• 로깅 : API 요청 모니터링 및 디버깅을위한 포괄적 인 로깅.

용법

API 엔드 포인트

• Post / : text 필드가있는 JSON 페이로드를 수락하고 해당 임베딩을 반환합니다.

예제 요청

curl -X POST http:// < server_address > / -H " Content-Type: application/json " -d ' {"text": "Your text here"} '

예제 응답

{
  "Embeddings" : [ ... ]
}

복잡성과 도전

1. 모델 통합

• 복잡성 : 문장 변압기 모델을 통합하고 올바르게로드하는지 확인합니다.
• 솔루션 : sentence_transformers 패키지의 SentenceTransformer 사용하여 미리 훈련 된 모델을로드했습니다.

2. 오류 처리

• 복잡성 : 필드 누락 또는 모델 고장과 같은 오류를 우아하게 처리합니다.
• 솔루션 : 오류를 잡고 로그로 기록하여 적절한 HTTP 상태 코드를 반환 할 수있는 Try-except 블록을 구현했습니다.

3. 로깅

• 복잡성 : 디버깅 및 모니터링을위한 포괄적 인 로깅 보장.
• 솔루션 : 모든 레벨의 로그를 캡처하고 자세한 로그 메시지를 포함하도록 구성된 로깅.

시작하기

전제 조건

• 파이썬 3.6+
• 플라스크
• 문장 트랜스 셔머

설치

1. 저장소 복제 :

   git clone https://github.com/faisal-fida/text-embeddings-API.git
   cd text-embeddings-API

2. 종속성 설치 :

   pip install -r requirements.txt

3. 응용 프로그램 실행 :

   python main.py

결론

이 API는 신뢰성을 보장하기 위해 강력한 오류 처리 및 로깅을 통해 텍스트 임베딩을 생성하는 데 효율적이고 간단한 접근 방식을 제공합니다. NLP 작업에 빠르고 정확한 텍스트 표현이 필요한 응용 프로그램에 이상적입니다.