librai server

Librai Server - Layanan Pemrosesan dan Embedding Dokumen

Keterangan

Proyek ini adalah aplikasi Node.js yang memproses dokumen menjadi embeddings menggunakan API OpenAI dan menyimpannya dalam database vektor Qdrant. Ini fitur antarmuka web modern untuk unggahan file dan menyediakan layanan backend yang dapat dikonsumsi oleh chatbot front-end untuk interaksi berbasis dokumen yang ditingkatkan.

Pasangan dengan Librai-Ui.

Fitur

• Antarmuka web modern dan responsif dibangun dengan alpine.js dan css tailwind
• Dukungan Unggah File Seret-dan-Drop
• Pelacakan kemajuan untuk unggahan file
• Pengecualian rentang halaman opsional untuk file PDF dan EPUB
• Mendukung format file PDF, EPUB, TXT, dan MD
• Mengekstrak dan memproses konten teks dari file yang diunggah
• Menghasilkan Embeddings Menggunakan API Openai
• Toko Embeddings in Qdrant untuk pengambilan yang efisien
• Titik akhir API yang tenang untuk akses terprogram

Instalasi

1. Klon Repositori:

   git clone < repository-url >
   cd < repository-directory >

2. Instal dependensi:

   npm install

3. Buat file .env di direktori root dan tambahkan variabel lingkungan berikut:

    PORT=3000
   OPENAI_API_KEY=<your-openai-api-key>
   OPENAI_EMBEDDINGS_MODEL=<your-openai-embeddings-model>
   QDRANT_API_URL=<your-qdrant-api-url>
   QDRANT_API_KEY=<your-qdrant-api-key>
   QDRANT_COLLECTION=<your-qdrant-collection-name>
   

Penggunaan

1. Bangun proyek :

   npm run build

2. Mulai server :

   npm start

3. Akses antarmuka web : buka browser Anda dan navigasikan ke http://localhost:3000

   Atau gunakan API secara terprogram:

   curl -X POST http://localhost:3000/api/files/upload -F ' file=@/path/to/your/file.pdf ' 

Perkembangan

Untuk tujuan pengembangan, Anda dapat menjalankan server dalam mode arloji:

npm run dev

Untuk mengaktifkan pemuatan ulang CSS yang panas, jalankan perintah ini di terminal terpisah:

npm run dev:css

Berkontribusi

Kontribusi dipersilakan! Harap buka masalah atau kirimkan permintaan tarik untuk perbaikan atau perbaikan bug.

Lisensi

Proyek ini dilisensikan di bawah Lisensi Publik Umum GNU Affero v3.0 (AGPL-3.0). Lihat file lisensi.txt untuk lebih jelasnya.