E Commerce_ChatBot下載-E E Commerce

電子商務聊天機器人使用抹布與駱駝和蘭班

介紹

該項目是使用檢索型生成（RAG）方法構建的電子商務聊天機器人。 RAG結合了信息檢索和生成語言模型的力量，使聊天機器人能夠基於存儲在矢量數據庫中的廣泛的產品相關信息提供準確和上下文感知的響應。我們使用蘭班鏈作為管理聊天機器人組件的框架，並有效地協調檢索生成流程。

模型和嵌入

聊天機器人採用Llama3.1-8B ，這是一種大型語言模型，其能力能夠理解細微的上下文並產生連貫的響應。為了提高檢索性能，該項目利用HuggingFace的句子轉換器/全MPNET-BASE-V2模型生成的嵌入。這些嵌入式編碼語義含義，使聊天機器人能夠根據用戶查詢快速檢索相關的產品數據。嵌入在AstradB中存儲和管理，該嵌入是一個高性能向量數據庫。

聊天歷史的抹布

為了提供連貫的，上下文感知的響應，聊天機器人使用了歷史吸引的抹布方法。通過將聊天歷史記錄納入每個交互中，該模型可以理解對先前消息的引用，並在多個轉彎之間保持連續性。 Langchain的歷史管理功能通過允許每個用戶會話的聊天歷史記錄進行狀態管理，從而使此過程無縫。

數據集處理Apporach

該項目中使用的數據集包括來自電子商務平台Flipkart的產品評論。該數據集包括產品標題，評分和詳細評論，並為各種產品提供了全面的客戶反饋視圖。該數據集的主要目的是為聊天機器人的檢索功能提供動力，使其能夠參考現實世界中的產品情感，功能和客戶體驗。每個審查都作為文檔對象存儲在蘭鏈中，其中包含評論作為內容和產品名稱作為元數據。該數據集作為矢量商店攝入了Astradb ，從而實現了相似性搜索，這些搜索將用戶查詢與相關評論匹配，從而增強了聊天機器人的建議和響應。

前端和互動

前端是使用HTML ， CSS和JavaScript創建的響應式Web界面，旨在提供直觀的聊天體驗。用戶可以與聊天機器人進行互動以諮詢產品詳細信息並接收個性化建議。該界面具有CSS的樣式，具有現代漸變背景和結構化的聊天框，在該聊天框中，用戶消息和機器人響應實時顯示。

用Redis和芹菜處理較長的響應時間

鑑於該模型的大尺寸，使用Llama 3.1-8B生成響應有時可能會超過默認的1分鐘服務器超時限制。為了管理這一點，我們實施了Redis作為消息經紀和芹菜的背景任務管理。當用戶提交查詢時，聊天機器人會觸發芹菜任務，該任務異步地處理響應，從而使前端可以定期進行響應狀態進行輪詢。此方法有效地防止了服務器超時錯誤，同時確保用戶在不中斷的情況下收到響應。

在AWS EC2上部署

聊天機器人部署在AWS EC2上，為運行模型，處理用戶交互以及管理數據庫的檢索提供了一個可擴展且可靠的環境。

技術堆棧使用

語言：Python
框架：Langchain
後端：燒瓶
型號：Llama 3.1-8B（Ollama），擁抱面句子轉換器
數據庫：astradb（嵌入式矢量存儲）
消息隊列：redis
任務管理：芹菜
前端：HTML，CSS，JavaScript

基礎設施

部署：AWS EC2
版本控制：github

數據集

該項目的數據集取自Kaggle。這是數據集鏈接。該項目中使用的數據集包含450個產品評論，內容涉及從Flipkart收集的不同品牌的耳機，Erabuds和其他產品，包括以下關鍵功能：

產品ID ：每個產品的唯一標識符。
產品名稱：產品的名稱或標題，有助於了解建議的產品上下文。
評分：用戶給出的數字評級（5分），表明產品的質量。
摘要：評論的簡短摘要或標題。
評論：詳細的用戶審查，提供有關用戶對產品體驗的見解。

這些產品標題，評分，摘要和評論文本被利用以創建嵌入方式，並提高聊天機器人響應在了解客戶查詢時的相關性。另外，您可以從這裡下載數據集

數據集詳細信息

數據集名稱：flipkart_dataset
列數：5
記錄數：450

安裝

該代碼用Python 3.10.15編寫。如果您沒有安裝Python，則可以在這裡找到它。如果您使用的是較低版本的Python，則可以使用PIP軟件包升級，以確保您擁有最新版本的PIP。

本地運行

步驟1：將存儲庫克隆到您的本地計算機：

git clone https://github.com/jatin-12-2002/E-Commerce_ChatBot

步驟2：導航到項目目錄：

 cd E-Commerce_ChatBot

步驟3：打開存儲庫後創建一個Conda環境

conda create -p env python=3.10 -y

 source activate ./env

步驟4：安裝要求

pip install -r requirements.txt

步驟5：設置環境變量：

在項目目錄中創建.ENV文件。
定義必要的環境變量，例如數據庫連接字符串，API鍵等。
您的.env文件應具有這些變量：

ASTRA_DB_API_ENDPOINT= " "
ASTRA_DB_APPLICATION_TOKEN= " "
ASTRA_DB_KEYSPACE= " "
HF_TOKEN= " "

我的.env文件在這裡

步驟6：下載Ollama API。

curl -fsSL https://ollama.com/install.sh | sh

步驟7：轉到新終端並激活環境後。啟動Ollama服務器。

ollama serve

步驟8：下載Llama3.1-8B型號。

ollama pull llama3.1:8b

步驟9：安裝Redis

sudo apt-get update

sudo apt-get install redis-server

步驟10：啟動Redis服務器（通常在端口6379上完成）。

sudo service redis-server start

步驟11：檢查Redis是否正在運行。如果一切正常，它應該返回乒乓球。

redis-cli ping

步驟12：開始芹菜工人。在新的終端窗口中，激活環境然後運行：

celery -A app.celery worker --loglevel=info

步驟13：運行燒瓶應用程序。在另一個終端中，使用槍支啟動燒瓶應用程序

gunicorn -w 2 -b 0.0.0.0:8000 app:app

步驟14-預測申請

http://localhost:8000/

聊天機器人響應輸出

AWS部署

步驟1：將整個代碼推向GitHub。

步驟2：登錄到您的AWS帳戶鏈接。

步驟3：啟動您的EC2實例。

步驟4：配置您的EC2實例。

Use t2.large or greater size instances only as it is a GenerativeAI using LLMs project.

步驟5：用於配置EC2實例的命令。

信息：SUDO APT-GET UPDATE和SUDO APT UPDATE用於更新基於Debian的系統（例如Ubuntu）上的軟件包索引，但是它們在使用的工具及其功能方面略有不同：

步驟6：連接您的EC2實例並開始鍵入以下命令

步驟6.1：此命令使用APT-GEG，是傳統的軟件包管理工具。

sudo apt-get update

步驟6.2：此命令使用APT，更新，更友好的命令行界面，用於APT軟件包管理系統。

sudo apt update -y

步驟6.3：安裝NGINX，GIT和其他工具

sudo apt install git nginx -y

步驟6.3：安裝所需的工具。

sudo apt install git curl unzip tar make sudo vim wget -y

步驟6.4：克隆git存儲庫。

git clone https://github.com/jatin-12-2002/E-Commerce_ChatBot

步驟6.5：導航到項目目錄：

 cd E-Commerce_ChatBot

步驟6.6：在那裡創建.ENV文件。

touch .env

步驟6.6：在VI編輯器中打開文件。

vi .env

步驟6.7：按插入和提及.ENV變量，然後按ESC進行保存和寫入：WQ進行退出。

ASTRA_DB_API_ENDPOINT= " "
ASTRA_DB_APPLICATION_TOKEN= " "
ASTRA_DB_KEYSPACE= " "
HF_TOKEN= " "

步驟6.8：###用於檢查.ENV變量的值。

cat .env

步驟6.9：用於安裝Python和Pip，這裡是一個命令

sudo apt install python3-pip

步驟6.10：安裝需求.txt。 PIP中的 - Break-System包裝標誌允許覆蓋外部管理的環境錯誤，並安裝整個系統範圍內的Python軟件包。

pip3 install -r  requirements.txt

或者

pip3 install -r  requirements.txt --break-system-packages

PIP中的 - Break-System包裝標誌允許覆蓋外部管理的環境錯誤，並安裝整個系統範圍內的Python軟件包。 pip install package_name- Break-System包裝

步驟6.11：用槍支測試應用程序。通過訪問http：// your-ec2-public-ip驗證該應用程序正在工作

gunicorn -w 2 -b 0.0.0.0:8000 app:app

步驟6.12：將NGINX配置為反向代理。將Nginx設置為將請求轉發給槍支。打開NGINX配置文件：

sudo nano /etc/nginx/sites-available/default

步驟6.13：更新NGINX配置如下：

server {
    listen 80 ;
    server_name your-ec2-public-ip ;

    location / {
        proxy_pass http://127.0.0.1:8000 ;
        proxy_set_header Host $host ;
        proxy_set_header X-Real-IP $remote_addr ;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for ;
        proxy_set_header X-Forwarded-Proto $scheme ;
    }
}

保存並關閉文件

步驟6.14：然後重新啟動nginx：

sudo systemctl restart nginx

步驟6.15：將槍支設置為背景服務。要保持槍支作為服務運行，請設置SystemD服務文件。創建一個新的服務文件：

sudo nano /etc/systemd/system/gunicorn.service

步驟6.16：更新配置如下：

[Unit]
Description=Gunicorn instance to serve my project
After=network.target

[Service]
User=ubuntu
Group=www-data
WorkingDirectory=/home/ubuntu/E-Commerce_ChatBot_Project
ExecStart=/usr/bin/gunicorn --workers 4 --bind 127.0.0.1:8000 app:app

[Install]
WantedBy=multi-user.target