Главная страница>Связанные с программированием>Другой исходный код
Скачать

MARAT - Анализ данных с использованием агентов на основе LLM

Изображение

Что

MARAT ("MUH-RAH")-это инструмент анализа данных и визуализации, который облегчает анализ исследовательских данных, от общей тематической тематической информации, управляемой AI, до конкретного анализа или запросов визуализации пользователем.

Почему

Текущие реализации анализа данных, использующие разговорную ИИ, в первую очередь являются вопросительными, при этом пользовательский чат с персонифицированной версией данных. Хотя это довольно полезно, я считаю, что это не максимизирует пользу ИИ в понимании данных. Мы склонны не рассматривать понимание и информацию, как отдельные элементы, с которыми взаимодействуют в диалектике, а скорее как сеть понимания, с пониманием, связывающими вместе, чтобы сформировать полное понимание понимания данных. Этот проект представляет собой попытку подтверждения концепции лучше реализовать эту точку зрения на анализ.

Как

Marat использует фронта в стиле блок-схемы NextJS для визуализации и координации анализа данных с помощью на основе питона. FOSTAPI используется для отправки информации на базу Python, где анализ проводится и отправляется обратно на Frontend NextJS для визуализации и организованной.

Образец использования

Перейдите на основную страницу панели инструментов (Localhost: 3000/Dashboard) и загрузите файл данных CSV при запросе. Когда появляется подсказка вопроса, вы можете задать конкретный вопрос (то есть генерировать линейную регрессию между размером и стоимостью), либо об широком вопросе (то есть, скажите мне все, что способствует изменениям в цене и т. Д.). Чтобы сгенерировать отчет, выберите узлы, которые вы хотите включить, и нажмите «Создать отчет из выбранных узлов». Затем отчет будет сгенерирован как PDF и может быть загружен через страницу /отчеты.

Функции

  • Широкий диапазон вариантов анализа : регрессионный анализ, визуализации, анализа кластеров и т. Д.
  • Генерация отчетов : выбрать интересующие вас узлы и нажмите «Создать обзор из выбранных узлов» (отчеты будут отображаться на странице «Отчеты»)
  • Макет узлов : выберите «Вертикальный макет» или «горизонтальный макет», чтобы автоматически перестроить вставленные узлы или перемещать их по своему вкусу
  • Обзор кода : выберите расширитель «Показать код», чтобы раскрыть код Python, используемый для отображения любого анализа
  • SVG Export : Если вы хотите сохранить визуализированные анализы, выберите «Экспорт в SVG»

Структура файла

Весь Frontend NextJS Code находится в папке «NextJS». В настоящее время TypeScript не установлен в режиме скрипта, но я планирую обновить это после того, как все конфигурации типа будут полностью добавлены.

Конфигурации Langgraph и Agent можно найти в бэкэнд-папке с определениями агента и конфигурацией графика, которые можно найти в Backend-> api-> Agents-> Agents.py и Backend-> api-> agent_graph-> graph.py соответственно. Настройка бэкэнд FastApi находится в Backend-> api-> test.py, с координацией ответов Langgraph, обнаруженной в langchain_base-> langchain.py. Конфигурации модели можно найти в каталоге Backend-> API-> моделей. Все подсказки расположены в Backend-> api-> radpts-> rapts.py

Большая часть схемы и реализации поступает из этого проекта, в котором также есть отличный учебный материал.

Установка

Докер

Самый простой способ установить и начать через Docker. Вы можете либо потянуть предварительно построенное изображение, либо построить изображение локально.

Потяните изображение Docker из Dockerhub

  1. Чтобы получить самую последнюю версию изображений NextJS и Python Backend: 
    docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
docker pull nbritt27/marat-agent-data-analysis:backendv1.0
  2. Чтобы запустить изображение Frontend: 
    docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend
  3. Чтобы запустить бэкэнд -изображение, вам придется предоставить свой собственный ключ API OpenAI. Это можно сделать как аргумент ключевого слова: 
    docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
-e OPENAI_API_KEY=your_api_key 
marat-agent-data-analysis-backend:v1.0

Создайте изображение на месте

  1. Клонировать репозиторий 
    git clone https://github.com/nbritt27/marat-agent-data-analysis.git
cd marat-agent-data-analysis
  2. Скопируйте env.example в свой файл .env 
    cp .env.example .env
  3. Замените переменные среды на ключи API
  4. Составьте локальное изображение 
    docker compose up

Бег без докера

Предполагая, что у вас установлен узлы (в этом проекте используется узел 20.12.0): в проекте используется фронта NextJS, с инструкциями по установке NextJS, которые можно найти по адресу https://nextjs.org/docs/getting-started/installation

  1. Перейти в каталог NextJS 

     cd nextjs

  2. Установите все зависимости от NextJS и узлов 

    npm install
# or
pnpm install

  3. Установите зависимости PIP 

    pip install -r ../backend/requirements.txt

  4. Запустить проект 

     npm run dev

    ПРИМЕЧАНИЕ. Если вы используете Windows и хотите генерировать отчеты, вам придется загрузить установщик для wkhtmltopdf https://wkhtmltopdf.org/downloads.html и укажите исполняемый путь в файле env.

Этот проект выполняет сгенерированный код Python. Рекомендуется запуск проекта внутри виртуальной среды или контейнера.

Проектная траектория

Короткий срок

  • Включить хранение сеанса (вероятно, через конечную точку Postgres с аутентификацией NextJS)
  • Обновить конфигурации агента (больше агентов = больше функциональности) и специализация для определенных типов анализа
  • Варианты, чтобы задавать последующие вопросы или запрос на анализ на определенных узлах
  • Включение нескольких поставщиков LLM (OpenAI является единственным, который был тщательно протестирован)

Средний перспектива

  • Возможность для пользователей добавлять свои собственные узлы с помощью пользовательских анализов или пониманий
  • Поддержка для большего количества типов файлов
  • Реализуйте систему GraphRAG для обработки текстовых данных и анализа
  • Цепочка мышления и получение метада для определенных директив агентов

Долгосрочный

  • Возможность загружать целые отчеты/рукописи и преобразовать их в свой собственный поток, который может быть изменен
  • Инструменты для автоматизации расширения существующих анализов
  • Включение дополнительных инструментов исследования в планирование анализа быстрого отслеживания и создание рукописи

Известные ошибки

  • Внешний интерфейс
    • Иногда страница загружается, а диалоговое окно «Выбрать файл» не работает. Обновляя страницу обычно решает эту проблему
    • Иногда отправка выбранного файла возвращает вас к опции «Выберите файл». Просто выбрать файл снова работает во второй раз
    • Текстовые элементы, такие как код и понимание, в настоящее время не могут быть выделены и скопированы. Похоже, что это проблема с некоторыми элементами DOM, представленными на мышиных событиях над ними, и я работаю над решением.
    • При работе с определенными таблицами экспорт SVG столкнется с ошибкой
  • Бэкэнд
    • Иногда, кодировщик LLM пытается распечатать фигуру сюжета, которая затем добавляется в текстовой форме в виде узла
    • Иногда кодировщик LLM экспортирует свои выводы обратно в свой собственный призыв к конечной точке завершений, что часто приводит к обращению к> запросу MAX MAX Tokens. Настоящая реализация допускает максимум три повторения, причем один, как правило, достаточен.

Внести/контакт

Я хотел бы помочь в работе над этим проектом. Если вы заинтересованы в оказании помощи в проекте или у вас есть другие вопросы или проблемы, лучший способ связаться со мной - по электронной почте [email protected]

Лицензия

Этот проект лицензирован по лицензии MIT - для получения подробной информации см. Файл лицензии.

Если вы используете этот проект или какой -либо подмножество, пожалуйста, дайте мне знать! Я хотел бы посмотреть, что вы можете создать :)

Расширять
Дополнительная информация
Связанные приложения
Рекомендуем вам
Связанные новости Все