CheatSheet Langchain Project

AI代理项目：自动数据提取

该项目利用AI代理进行自动数据提取和处理。该系统允许用户上传CSV文件或连接到Google表，然后使用自然语言查询与数据进行交互。代理根据查询生成Python代码，执行代码来操纵数据，并以各种格式（例如表，绘图或字符串）呈现结果，或为您的文件刮擦有用的数据。

内容表

• 介绍
• 特征
• 安装
• 用法
• 项目结构
• 错误处理
• 许可证

特征

• 数据源选择：选择上传CSV文件或连接Google Sheet。
• 自然语言查询：使用自然语言查询与数据互动（例如，“让我获得{Company}的电子邮件地址”）。
• 动态代码生成：系统基于查询生成Python代码，然后执行以操纵数据。
• 输出格式：结果以不同的格式显示，例如表，图（bar/pie）或字符串，具体取决于查询。
• 错误处理：鲁棒错误处理，即使存在无效的文件格式或数据操纵错误等问题，也可以确保使用平稳的用户交互。

部署链接

• 简化的作弊表应用程序

安装

要运行此项目，您需要Python 3.7或更高版本。该项目使用几个可以通过PIP安装的第三方库。

• 克隆仓库

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• 安装依赖项：创建虚拟环境并安装所需的库：

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• 设置Google表API：

  • 通过遵循Google表API文档中的步骤获取Google API凭据。
  • 下载recertentials.json文件并将其放在项目的根目录中。

• 运行应用程序：

    streamlit run dashboard.py

运行此命令后，该应用程序将启动，您可以通过浏览器访问它。

API

该项目利用多个API来处理不同的操作，包括数据刮擦和与模型的互动。集成的API是：

• GROQ API：

  • 型号：Llama-3.1-70B反相

  • 目的：GROQ API用于与大语言模型进行交互，以生成响应，在数据集上执行操作以及处理复杂的查询。模型Llama-3.1-70B反复用于有效的自然语言理解和生成，帮助处理查询并产生可行的结果。

  • 用法：

    • API被要求处理与数据相关的查询，包括提取，过滤和生成摘要等操作。该模型的响应有助于塑造应用于数据集的操作。

    • 用于模型的提示以特定格式构造，以确保所需的响应并避免执行过程中的错误。

• SCRAPER API：

  • 目的：刮板API用于从外部来源收集其他数据，并将此数据附加到数据集。

  • 用法：

    • 处理数据集并执行必要的操作后，Scraper API有助于通过从外部资源中刮除的其他列来丰富数据。这是通过在数据框中添加“刮擦”列来完成的。

用法

上传数据：

• 从侧边栏中选择数据源：上传CSV或连接Google表格。

  • 如果上传CSV，请选择要上传的文件。如果连接到Google表格，请提供表格的URL。

• 输入查询：

  • 在应用程序的主要区域中，在输入框中输入自然语言查询。例如，“给我{Company}的电子邮件地址”。

• 查看结果：

  • 基于查询，AI代理将生成Python代码，将其应用于数据并返回结果。结果可以显示为表，图或字符串。

遇到的挑战

• 及时的格式和复杂性：一个重大挑战是确保将传递给模型的提示正确格式化和由系统处理。基于查询的结构和复杂性生成准确响应所需的模型。保持信息的清晰度和一致性也很重要。

• 使用LLMS管理安全风险：利用大型语言模型（LLMS）引入了潜在的安全风险，尤其是有关数据隐私和敏感信息的处理。确保在与模型互动时无意间没有机密或私人数据是开发过程的关键方面。我们必须实施保障措施，以最大程度地降低这些风险，同时使用LLMS生成代码和处理数据。

该项目的演示视频：

rectioning_langchain.1.mp4