semantic search and llm chat app

SEMICID-PENCARIAN DAN-LLM-CHAT-APP

Proyek ini bertujuan untuk mengimplementasikan pencarian semantik dan aplikasi LLM-CHAT yang bertenaga kain pada skala. Ini terdiri dari tiga komponen utama:

 1.	Vector Store Database (chromadb_service): Manages and stores vector embeddings for efficient retrieval.
2.	Backend LLM-Powered API Service (llm_service): Handles the core logic and interacts with the LLM model.
3.	Frontend Application: Provides the user interface for interacting with the application.

Desain modular memungkinkan setiap komponen dapat diukur secara independen, memungkinkan sistem untuk menangani volume lalu lintas yang besar sesuai kebutuhan.

Untuk penyebaran dunia nyata, disarankan untuk mengadopsi solusi basis data vektor terdistribusi alih-alih chromadb. Selain itu, peningkatan lebih lanjut akan diperlukan untuk membuat produksi aplikasi siap.

Pengaturan proyek ini hanyalah awal dari membuat aplikasi berbasis obrolan siap-produksi.

Cara menjalankan proyek ini

Instal dependensi (gunakan python> = 3.10). Anda akan perlu menambahkan variabel lingkungan CMAKE_ARGS untuk pemasangan LLMA-CPP-Python yang berhasil. Untuk Apple Silicon MacBooks, silakan gunakan perintah di bawah ini. Silakan periksa dokumentasi resmi LLMA-CPP-Python untuk instruksi khusus platform lainnya. link

CMAKE_ARGS="-DLLAMA_METAL=on"
pip install -r requirements.txt

Kata penutup, dalam urutan berikut menjalankan setiap layanan.

1. Chromadb_service

Ini adalah layanan basis data vektor yang membuat, memodifikasi, dan memperbarui entri dataset. Ikuti instruksi ini di sini

2. LLM_SERVICE

Layanan API ini ditenagai oleh model LLAMA-2-7B untuk antarmuka obrolan dan menggunakan chromadb_service untuk pengambilan konteks. Ikuti instruksi ini di sini

3. Frontend

Ini adalah aplikasi Frontend (StreamLit) yang bergantung pada fitur LLM_Service ke Power Chatbot dan Semantic-Search.

Untuk memulai aplikasi Frontend, jalankan perintah di bawah ini.

streamlit run frontend/1_Product_Chat.py

Harap hubungi saya di LinkedIn untuk pertanyaan apa pun yang terkait dengan implementasi dan TechOnlogies. Jangan ragu untuk membuka permintaan pull untuk perbaikan lebih lanjut. Terima kasih!