efficient document search and summarization engine

Mesin Pencarian Dokumen dan Ringkasan yang Efisien

Ringkasan

Mesin pencarian dan peringkasan dokumen yang efisien adalah alat yang kuat yang dirancang untuk meningkatkan efisiensi dan kejelasan penelitian dengan mengintegrasikan model bahasa besar (LLM) yang canggih seperti chatgpt dan llama. Proyek ini memanfaatkan teknologi mutakhir untuk memberikan pengalaman pencarian dan ringkasan dokumen yang mulus dan efisien.

Fitur

• Integrasi LLM : Memanfaatkan LLM terkemuka untuk merangkum temuan penelitian, meningkatkan efisiensi dan kejelasan output penelitian.
• RESTFUL API : Menawarkan API yang kuat untuk pengambilan dokumen dan kueri, memastikan hasil pencarian yang dioptimalkan dan akurat.
• Database Vektor : Mengimplementasikan database vektor untuk penyimpanan dan pengambilan yang efisien, meningkatkan kinerja pencarian.
• Algoritma Lanjutan : Menerapkan kesamaan cosinus dan pengelompokan K-means untuk memastikan ekstraksi teks yang tepat dan pencocokan kueri.

Teknologi digunakan

• Python : Bahasa pemrograman inti untuk pengembangan.
• Fastapi : Kerangka kerja untuk membangun API yang tenang.
• Langchain : Toolchain untuk mengintegrasikan model bahasa.
• MongoDB : Basis data untuk menyimpan dokumen dan metadata.
• Pinecone : Database vektor untuk penyimpanan dan pengambilan permintaan yang dioptimalkan.

Instalasi

Untuk mengatur proyek secara lokal, ikuti langkah -langkah ini:

1. Klon Repositori :

   git clone https://github.com/mananjain02/efficient-document-search-and-summarization-engine.git
   cd efficient-document-search-and-summarization-engine

2. Buat lingkungan virtual :

   python -m venv venv
   source venv/bin/activate

3. Instal dependensi :

   pip install -r requirements.txt

4. Mengatur Variabel Lingkungan : Buat file .env di direktori root dan tambahkan pengaturan konfigurasi Anda.

    MONGODB_URL = <mongo-db-uri>
   SECRET_KEY = <bcrypt-key>
   ALGORITHM = " HS256 "
   DATABASE = <database-name>
   EMBEDDINGS_MODEL = " BAAI/bge-large-en-v1.5 "
   VECTOR_DATABASES_FOLDER = " vector_databases "
   OPENAI_API_KEY = <open-ai-key-if-want-to-use-chatgpt>
   TOKENIZERS_PARALLELISM = " False "

5. Jalankan aplikasi :

   uvicorn main:app --reload

Penggunaan

Dokumentasi API

Dokumentasi API dan perincian lebih lanjut dapat diakses menggunakan Swagger. Setelah aplikasi berjalan, navigasikan ke http://localhost:8000/docs untuk mengeksplorasi dan berinteraksi dengan titik akhir API.