semantic search and llm chat app

语义搜索和llm-chat-app

该项目旨在按大规模实施语义搜索和抹布供电的LLM-CHAT应用程序。它由三个主要组成部分组成：

 1.	Vector Store Database (chromadb_service): Manages and stores vector embeddings for efficient retrieval.
2.	Backend LLM-Powered API Service (llm_service): Handles the core logic and interacts with the LLM model.
3.	Frontend Application: Provides the user interface for interacting with the application.

模块化设计使每个组件都可以独立扩展，从而使系统能够根据需要处理大量的交通量。

对于实际部署，建议采用分布式向量数据库解决方案而不是Chromadb。此外，将需要进一步的增强才能使应用程序准备就绪。

此项目设置只是创建基于生产的聊天应用程序的开始。

如何运行这个项目

安装依赖项（使用Python> = 3.10）。您将需要添加环境变量CMAKE_ARGS，以成功地安装LLMA-CPP-Python。对于Apple Silicon MacBook，请使用以下命令。请查看LLMA-CPP-Python的官方文件，以获取其他特定于平台的说明。关联

CMAKE_ARGS="-DLLAMA_METAL=on"
pip install -r requirements.txt

后词，按以下序列运行每个服务。

1。chromadb_service

这是一个矢量数据库服务，可以创建，修改和更新数据集条目。在此处遵循以下说明

2。llm_service

此API服务由聊天接口的Llama-2-7B模型提供动力，并使用Chromadb_service进行上下文检索。在此处遵循以下说明

3。前端

这是一个前端应用程序（简化），依赖于llm_service来供电聊天机器人和语义搜索功能。

要启动下面的前端应用程序运行。

streamlit run frontend/1_Product_Chat.py

有关与实施和Techonlogies有关的任何问题，请在LinkedIn上与我联系。随时打开拉力要求以进行进一步的改进。谢谢你！