Text Embeddings API

API Embeddings Teks

Proyek ini menyediakan API REST untuk menghasilkan embeddings teks menggunakan model Transformers Kalimat. Ini dibangun menggunakan Flask dan bertujuan untuk menyederhanakan proses mengubah teks menjadi embeddings untuk berbagai tugas NLP.

Fitur

• Teks Generasi Embedding : Mengubah teks input menjadi embeddings menggunakan model BAAI/bge-base-zh .
• Penanganan kesalahan : Penanganan kesalahan yang kuat untuk mengelola bidang yang hilang dan kesalahan yang tidak terduga.
• Logging : Logging komprehensif untuk memantau permintaan dan debugging API.

Penggunaan

Titik akhir API

• POST / : menerima muatan JSON dengan bidang text dan mengembalikan embeddings yang sesuai.

Contoh Permintaan

curl -X POST http:// < server_address > / -H " Content-Type: application/json " -d ' {"text": "Your text here"} '

Contoh respons

{
  "Embeddings" : [ ... ]
}

Kompleksitas dan tantangan

1. Integrasi Model

• Kompleksitas : Mengintegrasikan model transformator kalimat dan memastikannya memuat dengan benar.
• Solusi : SentenceTransformer bekas dari paket sentence_transformers untuk memuat model pra-terlatih.

2. Penanganan kesalahan

• Kompleksitas : Menangani kesalahan dengan anggun, seperti bidang yang hilang atau kegagalan model.
• Solusi : Diimplementasikan blok percobaan-kecuali untuk menangkap dan log kesalahan, mengembalikan kode status HTTP yang sesuai.

3. Logging

• Kompleksitas : Memastikan pencatatan komprehensif untuk debugging dan pemantauan.
• Solusi : Pencatatan yang dikonfigurasi untuk menangkap semua level log dan termasuk pesan log terperinci.

Memulai

Prasyarat

• Python 3.6+
• Labu
• Transformer kalimat

Instalasi

1. Klon Repositori:

   git clone https://github.com/faisal-fida/text-embeddings-API.git
   cd text-embeddings-API

2. Instal dependensi:

   pip install -r requirements.txt

3. Jalankan aplikasi:

   python main.py

Kesimpulan

API ini memberikan pendekatan yang efisien dan langsung untuk menghasilkan embeddings teks, dengan penanganan dan logging kesalahan yang kuat untuk memastikan keandalan. Ini sangat ideal untuk aplikasi yang membutuhkan representasi teks yang cepat dan akurat untuk tugas NLP.