CUPCAKEAGI
Version 1.0.0
Привет, любители кексов? ❤! Я рад познакомить вас с моим последним проектом Cupcakeagi!
Вы можете найти документацию здесь: https://akshitireddy.github.io/cupcakeagi/
Откройте терминал и перейдите к бэкэнд/мультисенсорным виртуальным AAGI (вам нужно установить Conda)
npm install next
conda env create -f environment.ymlОткройте терминал и перейдите к бэкэнд/мультисенсорным виртуальным AAGI
conda activate aagi
uvicorn inference:appОткройте еще один терминал и перейдите на Frontend/Assistant (вам нужно установить узел)
npm run devВведите свои клавиши API в.
Cupcakeagi-это агент, который стремится имитировать человеческое поведение и когнитивные способности, чтобы помочь пользователям в выполнении различных задач. Он оснащен сладким? Особенности, в том числе способность мечтать?, есть случайные мысли и выполнять умственные симуляции о том, как выполнить задачу. Так же, как у нас, у людей, есть мысли, плавающие вокруг наших голов, у Cuckakeagi есть размышленный пузырь? с абстрактными словами.
Чтобы сделать Cupcakeagi более выразительным, я добавил параметры эмоций. Это позволит ему взаимодействовать с пользователями более личным образом.
Одной из самых впечатляющих функций Cupcakeagi является его способность принимать различные формы сенсорных данных, такие как изображения?, Видео?, И аудио?. Хотя я не внедрил запах?, Прикосновение и вкус? Тем не менее, это должно быть похоже на то, что я сделал для изображения, видео и аудио. Вам понадобится функция для преобразования сенсорных данных в текст, а затем будет добавлено в качестве описания файла для файла, который будет использоваться при проведении модели.
Cupcakeagi предоставляет две основные функции для взаимодействия с пользователем: разговор и задача. Функция разговора позволяет немедленным ответам на запросы пользователей, используя такие инструменты, как поисковые системы, калькуляторы и переводчики, что делает его решающим задачи в реальном времени. И кто не любит хорошего решающего вопроса?, Особенно, когда дело доходит до выпечки кексов ??
Функция задачи используется для выполнения задач во время начала или к крайнему сроку. Оба функции задачи и разговора позволяют объединять несколько инструментов, используя функцию задачи естественного языка, которая преобразует выходной сигнал одного инструмента в ввод другого, делая различные инструменты совместимыми друг с другом. Итак, нужно ли вам испечь несколько кексов для вечеринки по случаю дня рождения или конкурса кексов, Cupcakeagi здесь, чтобы помочь вам!
Некоторые способности, такие как поиск, калькулятор, поиск в Википедии, предопределены, эти способности определяются как функции Python, которые агент может использовать, создавая скрипт Python и импортируя эти функции, а затем запустить окончательный сценарий и сохранить выход в текстовый файл, к которому он может получить доступ. Больше способностей может быть определена, и существующие могут быть изменены модульным образом, все, что нужно сделать, - это отбросить скрипт Python в функциях способностей, а затем упомянуть его имя, описание и направления для использования в Abilities.json в каталоге State_of_mind и точно так же, что у агента будет новая способность. Агент может цепорить эти способности выполнять более сложные задачи и обеспечить совместимость, он может использовать естественный_task_function.
В целом, я надеюсь, что вы найдете Cupcakeagi как сладкое дополнение к вашей жизни. Этот проект был очень интересным для создания, и я рад видеть, куда он пойдет. Спасибо за чтение и счастливую выпечку!
Наш мозг обрабатывает и интегрирует эти сенсорные входы, чтобы сформировать согласованное восприятие окружающего нас мира. Точно так же в сфере искусственного интеллекта способность обрабатывать и интегрировать многосенсорные данные имеет решающее значение для создания интеллектуальных агентов, которые могут взаимодействовать с людьми более естественным и эффективным способом.
В последние годы крупные языковые модели (LLMS), такие как CHATGPT и GPT-4, продемонстрировали замечательные способности в создании человеческого текста на основе огромных объемов учебных данных. Тем не менее, эти модели обычно ограничиваются работой с данными текста и изображения и не имеют возможности обрабатывать другие типы сенсорных входов.
Помимо способности обрабатывать многосенсорные данные, агент LLM также демонстрирует несколько когнитивных способностей, которые обычно связаны с людьми. Например, агент оснащен способностью мечтать и имеет случайные мысли, которые, как считается, играют важную роль в творчестве человека, консолидации памяти и решении проблем. Включив эти функции в агент LLM, мы стремимся создать агента, который может помочь пользователям выполнять задачи более естественным и эффективным образом и сделать этих агентов более похожими на человека.
? Добро пожаловать в мир кексов и выпечки! Мы все знаем, что человеческий опыт-это гораздо больше, чем просто текстовые взаимодействия. Речь идет не только о чтении, но и о переживании мира со всеми нашими чувствами, включая зрение?, Звук?, Запах?, Вкус? И прикосновение? Точно так же агент LLM, который может работать с мультисенсорными данными, может открыть новый мир возможностей для машинного обучения.
Вместо того, чтобы пропустить богатые и разнообразные данные, доступные с помощью других сенсорных методов, мы можем использовать архитектуру нейронной сети, которые преобразуют различные формы сенсорных данных в текстовые данные, с которыми LLM может работать.
Например, мы можем использовать модели подписания изображения, такие как Vit-GPT2 и Blip для преобразования изображений в текстовые данные, которые затем может обработать агент LLM. Точно так же, для аудиодантеров, аудио-текстовые модели, такие как Whisper Openai, могут использоваться для преобразования аудиосигналов в текстовые данные. ??
Теперь я знаю, о чем вы думаете: как насчет видео?, Запах?, Вкус? И прикоснись ?? Не волнуйся, мы тебя покрыли! Для сохранения вычислений мы можем использовать один кадр в секунду видеоданных и использовать модели подписания изображений для преобразования каждого кадра в текст. Аудио-трек от видео может быть разделена и транскрибирован с использованием моделей аудио-текста, предоставляя агенту LLM как визуальные, так и слуховые данные.
Что касается запаха?, Вкус?, И прикоснуться?, Мы можем использовать электронные носы и языки, чтобы снимать различные типы данных химических веществ и вкуса и преобразовать их в текстовые данные, которые LLM может обрабатывать. Хаптические датчики могут захватывать давление, температуру и другие физические ощущения и преобразовать их в текстовые данные, используя нейронную сеть или что -либо еще.
Помните, что эти модели должны использоваться в качестве модульных компонентов, которые можно легко переключаться по мере появления новых моделей. Думайте о них как о блоках LEGO или реагируйте компоненты, которые мы можем собрать, чтобы создать более полную систему.
Итак, давайте запекать с помощью Cupcakeagi и включить мультисенсорные данные в агент LLM, чтобы создать более естественное и эффективное взаимодействие человека с имин. Благодаря наличию различных сенсорных данных, агент LLM может обрабатывать и понимать различные типы данных, что приводит к более человеческому агенту, который может помочь нам в разных задачах.
? Добро пожаловать в Cupcakeagi, где мы выпекаем сладкий и сливочный AI Goodness! ??
Вот некоторые из ключевых особенностей нашего агента LLM, которые делают его более похожим на человека и эффективны:
? Поведение человека: наш агент LLM оснащен несколькими особенностями, которые имитируют поведение человека, включая способность мечтать, имеют случайные мысли и выполняют умственное моделирование того, как выполнить задачу. Эти функции позволяют агенту лучше понимать и отвечать на запросы пользователей.
? Постоянная память: у нашего агента LLM есть состояние ума, где хранятся все файлы, относящиеся к ее личности, эмоциям, мыслям, разговорам и задачам. Даже если агент перестал запускать, вся соответствующая информация все еще хранится в этом месте. Это позволяет агенту обеспечить более персонализированный и эффективный опыт.
? Параметры эмоций: мы используем параметры эмоций, такие как счастье, грусть, гнев, страх, любопытство и творчество, чтобы сделать агент LLM более выразительным и лучше понимать потребности и предпочтения пользователя.
? Мыслительный пузырь: у нашего агента LLM также есть мыслительный пузырь, который, по сути, является списком списков, который соответствует различным темам. Это позволяет агенту более эффективно обрабатывать и интегрировать свои мысли с помощью запросов и задач пользователя.
Хранение разговоров: агент LLM хранит разговор, который у него был до сих пор, и список задач, которые он должен выполнять. Он разбивает разговор на куски и суммирует его для поддержания согласованности и актуальности. Это позволяет агенту поддерживать последовательный и актуальный разговор с пользователем.
С этими функциями наш агент LLM лучше подготовлен, чтобы помочь пользователям в выполнении задач естественным и эффективным образом. Мы надеемся, что вам понравится наш сладкий и сливочный AI Goodness! ???
? Добро пожаловать в Cupcakeagi! Вот несколько сладких Deets о агенте LLM, которые сделают ваши задачи грузовой прогулкой:
Добро пожаловать в Cupcakeagi! ????
Давайте поговорим о некоторых важных вещах, которые вам нужно знать об этом сладком проекте:
Сложные задачи: Хотя кексагиги настолько похожи на человеку, он не может решать сложные задачи, которые требуют значительных туда-сюда. Мы говорим о задачах, которые включают переговоры с несколькими сторонами, чтобы достичь решения. Cupcakeagi предназначен для оказания помощи людям на личном уровне, но он может не подходить для решения сильно сложных проблем. Не волнуйтесь, хотя Cupcakeagi по-прежнему ваш поход для всех ваших потребностей в выпечке кексов! ???
Точность сенсорного преобразования данных: эффективность кексайги в значительной степени зависит от точности архитектур нейронной сети, используемых для преобразования сенсорных данных в текст. Если эти модели не являются точными, Cupcakeagi может неправильно понять ввод пользователя, что приведет к неправильным или неэффективным ответам. Но не волнуйтесь, мы постоянно работаем над повышением точности кексайги, чтобы убедиться, что вы получаете наилучший опыт! ??
Этика и конфиденциальность: Cupcakeagi имеет потенциал для сбора и обработки большого количества персональных данных от пользователей. Таким образом, существует риск того, что конфиденциальные данные могут быть скомпрометированы, что приводит к проблемам конфиденциальности. Cupcakeagi сделает лучше всего обеспечить безопасность ваших секретов кекса! ?
Спасибо за проверку Cupcakeagi, и помните, с Cupcakeagi рядом с вами у вас всегда будет идеальный рецепт кекса! ?
Добро пожаловать на завершение нашего многосенсорного агента LLM! ????
Вот ключевые выводы из нашего проекта ??
