E Commerce_ChatBot下载-E E Commerce

电子商务聊天机器人使用抹布与骆驼和兰班

介绍

该项目是使用检索型生成（RAG）方法构建的电子商务聊天机器人。 RAG结合了信息检索和生成语言模型的力量，使聊天机器人能够基于存储在矢量数据库中的广泛的产品相关信息提供准确和上下文感知的响应。我们使用兰班链作为管理聊天机器人组件的框架，并有效地协调检索生成流程。

模型和嵌入

聊天机器人采用Llama3.1-8B ，这是一种大型语言模型，其能力能够理解细微的上下文并产生连贯的响应。为了提高检索性能，该项目利用HuggingFace的句子转换器/全MPNET-BASE-V2模型生成的嵌入。这些嵌入式编码语义含义，使聊天机器人能够根据用户查询快速检索相关的产品数据。嵌入在AstradB中存储和管理，该嵌入是一个高性能向量数据库。

聊天历史的抹布

为了提供连贯的，上下文感知的响应，聊天机器人使用了历史吸引的抹布方法。通过将聊天历史记录纳入每个交互中，该模型可以理解对先前消息的引用，并在多个转弯之间保持连续性。 Langchain的历史管理功能通过允许每个用户会话的聊天历史记录进行状态管理，从而使此过程无缝。

数据集处理Apporach

该项目中使用的数据集包括来自电子商务平台Flipkart的产品评论。该数据集包括产品标题，评分和详细评论，并为各种产品提供了全面的客户反馈视图。该数据集的主要目的是为聊天机器人的检索功能提供动力，使其能够参考现实世界中的产品情感，功能和客户体验。每个审查都作为文档对象存储在兰链中，其中包含评论作为内容和产品名称作为元数据。该数据集作为矢量商店摄入了Astradb ，从而实现了相似性搜索，这些搜索将用户查询与相关评论匹配，从而增强了聊天机器人的建议和响应。

前端和互动

前端是使用HTML ， CSS和JavaScript创建的响应式Web界面，旨在提供直观的聊天体验。用户可以与聊天机器人进行互动以咨询产品详细信息并接收个性化建议。该界面具有CSS的样式，具有现代渐变背景和结构化的聊天框，在该聊天框中，用户消息和机器人响应实时显示。

用Redis和芹菜处理较长的响应时间

鉴于该模型的大尺寸，使用Llama 3.1-8B生成响应有时可能会超过默认的1分钟服务器超时限制。为了管理这一点，我们实施了Redis作为消息经纪和芹菜的背景任务管理。当用户提交查询时，聊天机器人会触发芹菜任务，该任务异步地处理响应，从而使前端可以定期进行响应状态进行轮询。此方法有效地防止了服务器超时错误，同时确保用户在不中断的情况下收到响应。

在AWS EC2上部署

聊天机器人部署在AWS EC2上，为运行模型，处理用户交互以及管理数据库的检索提供了一个可扩展且可靠的环境。

技术堆栈使用

语言：Python
框架：Langchain
后端：烧瓶
型号：Llama 3.1-8B（Ollama），拥抱面句子转换器
数据库：astradb（嵌入式矢量存储）
消息队列：redis
任务管理：芹菜
前端：HTML，CSS，JavaScript

基础设施

部署：AWS EC2
版本控制：github

数据集

该项目的数据集取自Kaggle。这是数据集链接。该项目中使用的数据集包含450个产品评论，内容涉及从Flipkart收集的不同品牌的耳机，Erabuds和其他产品，包括以下关键功能：

产品ID ：每个产品的唯一标识符。
产品名称：产品的名称或标题，有助于了解建议的产品上下文。
评分：用户给出的数字评级（5分），表明产品的质量。
摘要：评论的简短摘要或标题。
评论：详细的用户审查，提供有关用户对产品体验的见解。

这些产品标题，评分，摘要和评论文本被利用以创建嵌入方式，并提高聊天机器人响应在了解客户查询时的相关性。另外，您可以从这里下载数据集

数据集详细信息

数据集名称：flipkart_dataset
列数：5
记录数：450

安装

该代码用Python 3.10.15编写。如果您没有安装Python，则可以在这里找到它。如果您使用的是较低版本的Python，则可以使用PIP软件包升级，以确保您拥有最新版本的PIP。

本地运行

步骤1：将存储库克隆到您的本地计算机：

git clone https://github.com/jatin-12-2002/E-Commerce_ChatBot

步骤2：导航到项目目录：

 cd E-Commerce_ChatBot

步骤3：打开存储库后创建一个Conda环境

conda create -p env python=3.10 -y

 source activate ./env

步骤4：安装要求

pip install -r requirements.txt

步骤5：设置环境变量：

在项目目录中创建.ENV文件。
定义必要的环境变量，例如数据库连接字符串，API键等。
您的.env文件应具有这些变量：

ASTRA_DB_API_ENDPOINT= " "
ASTRA_DB_APPLICATION_TOKEN= " "
ASTRA_DB_KEYSPACE= " "
HF_TOKEN= " "

我的.env文件在这里

步骤6：下载Ollama API。

curl -fsSL https://ollama.com/install.sh | sh

步骤7：转到新终端并激活环境后。启动Ollama服务器。

ollama serve

步骤8：下载Llama3.1-8B型号。

ollama pull llama3.1:8b

步骤9：安装Redis

sudo apt-get update

sudo apt-get install redis-server

步骤10：启动Redis服务器（通常在端口6379上完成）。

sudo service redis-server start

步骤11：检查Redis是否正在运行。如果一切正常，它应该返回乒乓球。

redis-cli ping

步骤12：开始芹菜工人。在新的终端窗口中，激活环境然后运行：

celery -A app.celery worker --loglevel=info

步骤13：运行烧瓶应用程序。在另一个终端中，使用枪支启动烧瓶应用程序

gunicorn -w 2 -b 0.0.0.0:8000 app:app

步骤14-预测申请

http://localhost:8000/

聊天机器人响应输出

AWS部署

步骤1：将整个代码推向GitHub。

步骤2：登录到您的AWS帐户链接。

步骤3：启动您的EC2实例。

步骤4：配置您的EC2实例。

Use t2.large or greater size instances only as it is a GenerativeAI using LLMs project.

步骤5：用于配置EC2实例的命令。

信息：SUDO APT-GET UPDATE和SUDO APT UPDATE用于更新基于Debian的系统（例如Ubuntu）上的软件包索引，但是它们在使用的工具及其功能方面略有不同：

步骤6：连接您的EC2实例并开始键入以下命令

步骤6.1：此命令使用APT-GEG，是传统的软件包管理工具。

sudo apt-get update

步骤6.2：此命令使用APT，更新，更友好的命令行界面，用于APT软件包管理系统。

sudo apt update -y

步骤6.3：安装NGINX，GIT和其他工具

sudo apt install git nginx -y

步骤6.3：安装所需的工具。

sudo apt install git curl unzip tar make sudo vim wget -y

步骤6.4：克隆git存储库。

git clone https://github.com/jatin-12-2002/E-Commerce_ChatBot

步骤6.5：导航到项目目录：

 cd E-Commerce_ChatBot

步骤6.6：在那里创建.ENV文件。

touch .env

步骤6.6：在VI编辑器中打开文件。

vi .env

步骤6.7：按插入和提及.ENV变量，然后按ESC进行保存和写入：WQ进行退出。

ASTRA_DB_API_ENDPOINT= " "
ASTRA_DB_APPLICATION_TOKEN= " "
ASTRA_DB_KEYSPACE= " "
HF_TOKEN= " "

步骤6.8：###用于检查.ENV变量的值。

cat .env

步骤6.9：用于安装Python和Pip，这里是一个命令

sudo apt install python3-pip

步骤6.10：安装需求.txt。 PIP中的 - Break-System包装标志允许覆盖外部管理的环境错误，并安装整个系统范围内的Python软件包。

pip3 install -r  requirements.txt

或者

pip3 install -r  requirements.txt --break-system-packages

PIP中的 - Break-System包装标志允许覆盖外部管理的环境错误，并安装整个系统范围内的Python软件包。 pip install package_name- Break-System包装

步骤6.11：用枪支测试应用程序。通过访问http：// your-ec2-public-ip验证该应用程序正在工作

gunicorn -w 2 -b 0.0.0.0:8000 app:app

步骤6.12：将NGINX配置为反向代理。将Nginx设置为将请求转发给枪支。打开NGINX配置文件：

sudo nano /etc/nginx/sites-available/default

步骤6.13：更新NGINX配置如下：

server {
    listen 80 ;
    server_name your-ec2-public-ip ;

    location / {
        proxy_pass http://127.0.0.1:8000 ;
        proxy_set_header Host $host ;
        proxy_set_header X-Real-IP $remote_addr ;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for ;
        proxy_set_header X-Forwarded-Proto $scheme ;
    }
}

保存并关闭文件

步骤6.14：然后重新启动nginx：

sudo systemctl restart nginx

步骤6.15：将枪支设置为背景服务。要保持枪支作为服务运行，请设置SystemD服务文件。创建一个新的服务文件：

sudo nano /etc/systemd/system/gunicorn.service

步骤6.16：更新配置如下：

[Unit]
Description=Gunicorn instance to serve my project
After=network.target

[Service]
User=ubuntu
Group=www-data
WorkingDirectory=/home/ubuntu/E-Commerce_ChatBot_Project
ExecStart=/usr/bin/gunicorn --workers 4 --bind 127.0.0.1:8000 app:app

[Install]
WantedBy=multi-user.target