semantic search and llm chat app

語義搜索和llm-chat-app

該項目旨在按大規模實施語義搜索和抹布供電的LLM-CHAT應用程序。它由三個主要組成部分組成：

 1.	Vector Store Database (chromadb_service): Manages and stores vector embeddings for efficient retrieval.
2.	Backend LLM-Powered API Service (llm_service): Handles the core logic and interacts with the LLM model.
3.	Frontend Application: Provides the user interface for interacting with the application.

模塊化設計使每個組件都可以獨立擴展，從而使系統能夠根據需要處理大量的交通量。

對於實際部署，建議採用分佈式向量數據庫解決方案而不是Chromadb。此外，將需要進一步的增強才能使應用程序準備就緒。

此項目設置只是創建基於生產的聊天應用程序的開始。

如何運行這個項目

安裝依賴項（使用Python> = 3.10）。您將需要添加環境變量CMAKE_ARGS，以成功地安裝LLMA-CPP-Python。對於Apple Silicon MacBook，請使用以下命令。請查看LLMA-CPP-Python的官方文件，以獲取其他特定於平台的說明。關聯

CMAKE_ARGS="-DLLAMA_METAL=on"
pip install -r requirements.txt

後詞，按以下序列運行每個服務。

1。 chromadb_service

這是一個矢量數據庫服務，可以創建，修改和更新數據集條目。在此處遵循以下說明

2。 llm_service

此API服務由聊天接口的Llama-2-7B模型提供動力，並使用Chromadb_service進行上下文檢索。在此處遵循以下說明

3。前端

這是一個前端應用程序（簡化），依賴於llm_service來供電聊天機器人和語義搜索功能。

要啟動下面的前端應用程序運行。

streamlit run frontend/1_Product_Chat.py

有關與實施和Techonlogies有關的任何問題，請在LinkedIn上與我聯繫。隨時打開拉力要求以進行進一步的改進。謝謝你！