AI Data Analysis MultiAgent

Исследователь, управляемый ИИ

Обзор

Это продвинутая система исследовательской помощи на основе AI, которая использует несколько специализированных агентов для оказания помощи в таких задачах, как анализ данных, визуализация и генерация отчетов. Система использует Langchain, модели GPT Openai и Langgraph для обработки сложных процессов исследования, интегрируя различные архитектуры искусственного интеллекта для оптимальной производительности.

Ключевые функции

• Генерация и проверка гипотезы
• Обработка и анализ данных
• Создание визуализации
• Поиск в Интернете и поиск информации
• Генерация и выполнение кода
• Отчет о написании
• Обзор и пересмотр качества
• Разнообразная архитектурная интеграция :
  • Агенты супервизора для наблюдения за процессом анализа
  • Рассуждение о цепей сложного решения проблем
  • Агенты критики для обеспечения качества и проверки ошибок
• Инновационная записка агент по дальности :
  • Постоянно записывает текущее состояние проекта
  • Обеспечивает более эффективную альтернативу передаче полной исторической информации
  • Улучшает способность системы поддерживать контекст и непрерывность на разных этапах анализа
• Адаптивный рабочий процесс : динамически корректирует свой подход анализа на основе данных и задач по выполнению

Почему это уникально

Интеграция выделенного агента Taker Note отличает эту систему от традиционных конвейеров анализа данных. Поддерживая краткую, но всеобъемлющую запись состояния проекта, система может:

1. Уменьшить вычислительные накладные расходы
2. Улучшить сохранение контекста на разных этапах анализа
3. Включить более когерентные и последовательные результаты анализа

Системные требования

• Python 3.10 или выше
• Юпитерская ноутбука

Установка

1. Клонировать репозиторий:

git clone https://github.com/starpig1129/ai-data-analysis-MulitAgent.git

2. Создать и активировать виртуальную среду Conda:

conda create -n data_assistant python=3.10
conda activate data_assistant

3. Установить зависимости:

pip install -r requirements.txt

4. Настройка переменных среды: .env .env Example

 # Your data storage path(required)
DATA_STORAGE_PATH =./data_storage/

# Anaconda installation path(required)
CONDA_PATH = /home/user/anaconda3

# Conda environment name(required)
CONDA_ENV = envname

# ChromeDriver executable path(required)
CHROMEDRIVER_PATH =./chromedriver-linux64/chromedriver

# Firecrawl API key (optional)
# Note: If this key is missing, query capabilities may be reduced
FIRECRAWL_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# OpenAI API key (required)
# Warning: This key is essential; the program will not run without it
OPENAI_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

# LangChain API key (optional)
# Used for monitoring the processing
LANGCHAIN_API_KEY = XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

Использование

1. Начните ноутбук Jupyter:

2. Установите yourdataname.csv в data_storage

3. Откройте файл main.ipynb .

4. Запустите все ячейки, чтобы инициализировать систему и создать рабочий процесс.

5. В последней ячейке вы можете настроить исследовательскую задачу, изменяя переменную userInput .

6. Запустите последние несколько ячеек, чтобы выполнить процесс исследования и просмотреть результаты.

Основные компоненты

• hypothesis_agent : генерирует гипотезы исследования
• process_agent : контролирует весь процесс исследования
• visualization_agent : создает визуализации данных
• code_agent : записывает код анализа данных
• searcher_agent : проводит литературу и поиск в Интернете
• report_agent : записывает отчеты по исследованиям
• quality_review_agent : выполняет качественные обзоры
• note_agent : записывает процесс исследования

Рабочий процесс

Система использует Langgraph для создания графика состояния, который управляет всем процессом исследования. Рабочий процесс включает в себя следующие шаги:

1. Генерация гипотезы
2. Человеческий выбор (продолжить или регенерировать гипотезу)
3. Обработка (включая анализ данных, визуализацию, поиск и написание отчетов)
4. Качественный обзор
5. Пересмотр по мере необходимости

Настройка

Вы можете настроить поведение системы, изменяя создание агента и определение рабочего процесса в main.ipynb .

Примечания

• Убедитесь, что у вас есть достаточное количество кредитов API OpenAI, так как система сделает несколько вызовов API.
• Система может занять некоторое время, чтобы завершить весь исследовательский процесс, в зависимости от сложности задачи.
• Предупреждение : система агентов может изменить анализируемые данные. Настоятельно рекомендуется сделать резервную копию ваших данных перед использованием этой системы.

Текущие проблемы и решения

1. Ошибка внутреннего сервера Openai (код ошибки: 500)
2. Улучшение эффективности
3. Общая оптимизация времени выполнения
4. Реферинер должен быть лучше

Внося

Приглашаются запросы. Для серьезных изменений, пожалуйста, сначала откройте проблему, чтобы обсудить, что вы хотели бы изменить.

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

Звездная история

Другие проекты

Вот некоторые из моих других известных проектов:

Sharelmapi

Sharelmapi - это API совместного использования модели локального языка, которая использует FastAPI для предоставления интерфейсов, позволяя различным программам или устройству обмениваться одной и той же локальной моделью, тем самым снижая потребление ресурсов. Он поддерживает потоковую генерацию и различные методы конфигурации модели.

• GitHub: Sharelmapi

Pigpig: Advanced Multi-Modal LLM Discord Bot:

Мощный бот, основанный на многомодальных крупных языковых моделях (LLM), предназначенный для взаимодействия с пользователями через естественный язык. Он сочетает в себе расширенные возможности ИИ с практическими функциями, предлагая богатый опыт для сообществ раздоров.

• GitHub: AI-Discord-Bot-Pigpig