CheatSheet Langchain Project

Проект агента AI: автоматическое извлечение данных

Этот проект использует агент AI для автоматического извлечения и обработки данных. Система позволяет пользователям загружать файл CSV или подключаться к листу Google, а затем взаимодействовать с данными, используя запросы естественного языка. Агент генерирует код Python на основе запроса, выполняет код для манипулирования данными и представляет результат в различных форматах, таких как таблица, график или строка, или скрещивания полезных данных для вашего файла.

Таблица контента

• Введение
• Функции
• Установка
• Использование
• Структура проекта
• Обработка ошибок
• Лицензии

Функции

• Выбор источника данных: выберите между загрузкой файла CSV или подключением листа Google.
• Запросы естественного языка: взаимодействуйте с данными, используя запросы естественного языка (например, «Получите мне адрес электронной почты {Компания}»).
• Генерация динамического кода: система генерирует код Python на основе запроса, который затем выполняется для манипулирования данными.
• Выходные форматы: результаты отображаются в разных форматах, таких как таблицы, графики (стержня/пирог) или строки, в зависимости от запроса.
• Обработка ошибок: надежная обработка ошибок обеспечивает плавное взаимодействие с пользователем даже в случае таких проблем, как неверные форматы файлов или ошибки манипуляции с данными.

Ссылка на развертывание

• Приложение для чита на потоковой линии

Установка

Чтобы запустить этот проект, вам нужен Python 3.7 или более поздней версии. В проекте используется несколько сторонних библиотек, которые могут быть установлены через PIP.

• Клонировать репо

    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent

• Установите зависимости: создайте виртуальную среду и установите необходимые библиотеки:

    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

• Настройте Google Sheets API:

  • Получите свои учетные данные Google API, выполнив шаги в документации Google Sheets API.
  • Загрузите файл credentials.json и поместите его в корневой каталог проекта.

• Запустите приложение:

    streamlit run dashboard.py

После запуска этой команды приложение запустится, и вы можете получить к нему доступ через свой браузер.

API

Этот проект использует несколько API для обработки различных операций, включая соскабливание данных и взаимодействие с моделью. Интегрированные API:

• Groq API:

  • Модель: Llama-3.1-70B-Versatile

  • Цель: API GROQ используется для взаимодействия с большой языковой моделью для генерации ответов, выполнения операций в наборе данных и обработки сложных запросов. Модель Llama-3.1-70b-Versatile используется для эффективного понимания и генерации естественного языка, помогает обработать запросы и дает действенные результаты.

  • Использование:

    • API вызывается для обработки запросов, связанных с данными, включая такие операции, как извлечение, фильтрация и генерация резюме. Ответ от модели помогает в формировании операций, применяемых к набору данных.

    • Подсказки, используемые для модели, структурированы в определенном формате, чтобы обеспечить желаемый ответ и избежать ошибок во время выполнения.

• Scraper API:

  • Цель: API Scraper используется для сбора дополнительных данных из внешних источников и добавления этих данных в набор данных.

  • Использование:

    • После того, как набор данных обрабатывается и выполняются необходимые операции, API Scraper помогает обогатить данные дополнительными столбцами, соскобными от внешних ресурсов. Это делается путем добавления столбца «соскоба» в DataFrame.

Использование

Загрузить данные:

• Выберите источник данных на боковой панели: либо загрузите CSV, либо подключите Google Sheets.

  • При загрузке CSV выберите файл для загрузки. Если подключиться к Google Sheets, предоставьте URL -адрес листа.

• Введите запрос:

  • В основной области приложения введите запрос естественного языка в поле ввода. Например, «Получите мне адрес электронной почты {Компания}».

• Просмотреть результаты:

  • На основании запроса агент AI будет генерировать код Python, применить его к данным и вернуть результат. Результаты могут отображаться в виде таблиц, графиков или струн.

Проблемы столкнулись

• Быстрое форматирование и сложность: значительной проблемой было обеспечение того, чтобы подсказки, передаваемые модели, были правильно отформатированы и обрабатывались системой. Модель, необходимая для создания точных ответов на основе структуры и сложности запросов. Также было важно поддерживать ясность и последовательность в том, как была извлечена и представлена ​​информация пользователю, особенно с помощью сложных запросов.

• Управление рисками безопасности с помощью LLMS: использование крупных языковых моделей (LLMS) ввело потенциальные риски безопасности, особенно в отношении конфиденциальности данных и обработки конфиденциальной информации. Обеспечение того, чтобы никакие конфиденциальные или частные данные были непреднамеренно обнажены, в то время как взаимодействие с моделью было критическим аспектом процесса разработки. Нам пришлось внедрить гарантии, чтобы минимизировать эти риски при использовании LLMS для генерации данных кода и обработки.

Демо -видео проекта:

recording_langchain.1.mp4