CheatSheet Langchain Project

AI代理項目：自動數據提取

該項目利用AI代理進行自動數據提取和處理。該系統允許用戶上傳CSV文件或連接到Google表，然後使用自然語言查詢與數據進行交互。代理根據查詢生成Python代碼，執行代碼來操縱數據，並以各種格式（例如表，繪圖或字符串）呈現結果，或為您的文件刮擦有用的數據。

內容表

• 介紹
• 特徵
• 安裝
• 用法
• 項目結構
• 錯誤處理
• 許可證

特徵

• 數據源選擇：選擇上傳CSV文件或連接Google Sheet。
• 自然語言查詢：使用自然語言查詢與數據互動（例如，“讓我獲得{Company}的電子郵件地址”）。
• 動態代碼生成：系統基於查詢生成Python代碼，然後執行以操縱數據。
• 輸出格式：結果以不同的格式顯示，例如表，圖（bar/pie）或字符串，具體取決於查詢。
• 錯誤處理：魯棒錯誤處理，即使存在無效的文件格式或數據操縱錯誤等問題，也可以確保使用平穩的用戶交互。

部署鏈接

• 簡化的作弊表應用程序

安裝

要運行此項目，您需要Python 3.7或更高版本。該項目使用幾個可以通過PIP安裝的第三方庫。

• 克隆倉庫

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• 安裝依賴項：創建虛擬環境並安裝所需的庫：

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• 設置Google表API：

  • 通過遵循Google表API文檔中的步驟獲取Google API憑據。
  • 下載recertentials.json文件並將其放在項目的根目錄中。

• 運行應用程序：

    streamlit run dashboard.py

運行此命令後，該應用程序將啟動，您可以通過瀏覽器訪問它。

API

該項目利用多個API來處理不同的操作，包括數據刮擦和與模型的互動。集成的API是：

• GROQ API：

  • 型號：Llama-3.1-70B反相

  • 目的：GROQ API用於與大語言模型進行交互，以生成響應，在數據集上執行操作以及處理複雜的查詢。模型Llama-3.1-70B反復用於有效的自然語言理解和生成，幫助處理查詢並產生可行的結果。

  • 用法：

    • API被要求處理與數據相關的查詢，包括提取，過濾和生成摘要等操作。該模型的響應有助於塑造應用於數據集的操作。

    • 用於模型的提示以特定格式構造，以確保所需的響應並避免執行過程中的錯誤。

• SCRAPER API：

  • 目的：刮板API用於從外部來源收集其他數據，並將此數據附加到數據集。

  • 用法：

    • 處理數據集並執行必要的操作後，Scraper API有助於通過從外部資源中刮除的其他列來豐富數據。這是通過在數據框中添加“刮擦”列來完成的。

用法

上傳數據：

• 從側邊欄中選擇數據源：上傳CSV或連接Google表格。

  • 如果上傳CSV，請選擇要上傳的文件。如果連接到Google表格，請提供表格的URL。

• 輸入查詢：

  • 在應用程序的主要區域中，在輸入框中輸入自然語言查詢。例如，“給我{Company}的電子郵件地址”。

• 查看結果：

  • 基於查詢，AI代理將生成Python代碼，將其應用於數據並返回結果。結果可以顯示為表，圖或字符串。

遇到的挑戰

• 及時的格式和復雜性：一個重大挑戰是確保將傳遞給模型的提示正確格式化和由系統處理。基於查詢的結構和復雜性生成準確響應所需的模型。保持信息的清晰度和一致性也很重要。

• 使用LLMS管理安全風險：利用大型語言模型（LLMS）引入了潛在的安全風險，尤其是有關數據隱私和敏感信息的處理。確保在與模型互動時無意間沒有機密或私人數據是開發過程的關鍵方面。我們必須實施保障措施，以最大程度地降低這些風險，同時使用LLMS生成代碼和處理數據。

該項目的演示視頻：

rectioning_langchain.1.mp4