CUPCAKEAGI
Version 1.0.0
이봐 컵 케이크 애호가? ❤️! 최신 프로젝트 인 Cupcakeagi를 소개하게되어 기쁩니다!
여기에서 문서를 찾을 수 있습니다 : https://akshitireddy.github.io/cupcakeagi/
터미널을 열고 백엔드/다중 감각 가상 Aagi로 이동 (콘다를 설치해야 함)
npm install next
conda env create -f environment.yml터미널을 열고 백엔드/다중 감각 가상 Aagi로 이동
conda activate aagi
uvicorn inference:app다른 터미널을 열고 Frontend/Assistant로 이동하십시오 (노드를 설치해야 함)
npm run dev.env 파일에 API 키를 입력하면 OpenAI API 키, Serper API 키가 필요합니다.
Cupcakeagi는 사용자가 다양한 작업을 수행 할 수 있도록 인간과 같은 행동과인지 능력을 모방하는 대리인입니다. 달콤한 달콤한 장착? 꿈을 꾸는 능력을 포함한 기능은 무작위로 생각하고 작업을 완료하는 방법에 대한 정신 시뮬레이션을 수행합니다. 우리 인간이 머리 주위에 떠 다니는 생각을하는 것처럼 Cupcakeagi는 생각 거품이 있습니까? 추상적 인 단어로.
Cupcakeagi를보다 표현력있게 만들기 위해 감정 매개 변수를 추가했습니다. 이를 통해보다 개인적인 방식으로 사용자와 상호 작용할 수 있습니다.
Cupcakeagi의 가장 인상적인 기능 중 하나는 이미지?, 비디오? 및 오디오와 같은 다양한 형태의 감각 데이터를 수용 할 수 있다는 것입니다. 나는 냄새를 구현하지 않았지만?, 터치와 맛? 그러나 이미지, 비디오 및 오디오에 대해 내가 한 것과 비슷해야합니다. 감각 데이터를 텍스트로 변환하려면 함수가 필요하며 모델을 유발하면서 사용될 파일의 파일 설명으로 추가됩니다.
Cupcakeagi는 사용자 상호 작용을위한 두 가지 주요 기능, 즉 대화 및 작업을 제공합니다. 토크 기능을 사용하면 검색 엔진, 계산기 및 번역기와 같은 도구를 사용하여 사용자 쿼리에 즉각적인 응답을 할 수 있으므로 실시간 문제 해결사가됩니다. 그리고 누가 좋은 문제 해결사를 좋아하지 않는가?, 특히 컵 케이크를 굽는 것과 관련하여 ??
작업 기능은 시작 시간 또는 마감일에 작업을 완료하는 데 사용됩니다. 두 작업 및 토크 기능을 사용하면 한 도구의 출력을 다른 도구의 입력으로 변환하는 자연어 작업 기능을 사용하여 여러 도구를 함께 체인 할 수 있으므로 서로 다른 도구와 호환됩니다. 따라서 생일 파티 나 컵 케이크 콘테스트를 위해 컵 케이크를 구워야하든 Cupcakeagi는 당신을 도와 드리겠습니다!
검색, 계산기, Wikipedia 검색과 같은 일부 기능은 사전 정의되어 있으며 이러한 능력은 Python 스크립트를 작성하고 이러한 기능을 가져 와서 최종 스크립트를 실행하고 액세스 할 수있는 텍스트 파일에 출력을 저장하여 에이전트가 사용할 수있는 파이썬 기능으로 정의됩니다. 더 많은 능력을 정의 할 수 있고 기존의 능력을 모듈 식 방식으로 수정할 수 있으며, 모든 기능은 Ability Functions에서 Python 스크립트를 삭제 한 다음 State_of_mind 디렉토리에서 Abilities에서 사용할 이름, 설명 및 방향을 언급하는 것입니다. 에이전트는 이러한 능력을 묶어보다 복잡한 작업을 수행하고 호환성을 보장하기 위해 Natural_task_Function을 사용할 수 있습니다.
전반적으로, 나는 당신이 Cupcakeagi가 당신의 삶에 달콤한 추가가되기를 바랍니다. 이 프로젝트는 창조하기가 정말 재미 있었고 그것이 어디로 가는지 알게되어 기쁩니다. 읽어 주셔서 감사합니다.
우리의 뇌는 이러한 감각 입력을 처리하고 통합하여 우리 주변의 세계에 대한 일관된 인식을 형성합니다. 마찬가지로, 인공 지능 영역에서, 다 감각 데이터를 처리하고 통합하는 능력은 인간과보다 자연스럽고 효과적인 방식으로 상호 작용할 수있는 지능형 에이전트를 구축하는 데 중요합니다.
최근 몇 년 동안 Chatgpt 및 GPT-4와 같은 대형 언어 모델 (LLM)은 방대한 양의 교육 데이터에 기초하여 인간과 같은 텍스트를 생성하는 데 현저한 능력을 보여 주었다. 그러나 이러한 모델은 일반적으로 텍스트 및 이미지 데이터로 작업하는 것으로 제한되며 다른 유형의 감각 입력을 처리 할 수있는 기능이 부족합니다.
LLM 에이전트는 다중 감각 데이터를 처리 할 수있는 능력 외에도 일반적으로 인간과 관련된 몇 가지인지 능력을 나타냅니다. 예를 들어, 에이전트는 인간의 창의성, 기억 통합 및 문제 해결에서 중요한 역할을하는 것으로 생각되는 꿈을 꾸고 임의의 생각을 할 수있는 능력을 갖추고 있습니다. 이러한 기능을 LLM 에이전트에 통합함으로써 사용자는보다 자연스럽고 효과적인 방식으로 작업을 수행하는 데 도움이 될 수있는 에이전트를 만들고 이러한 에이전트를보다 인간과 유사하게 만듭니다.
? 컵 케이크와 베이킹의 세계로 다시 오신 것을 환영합니다! 우리는 모두 인간의 경험이 단순한 텍스트 기반 상호 작용 이상의 것임을 알고 있습니다. 그것은 독서뿐만 아니라 시력, 소리?, 냄새?, 맛?, 터치를 포함하여 우리의 모든 감각으로 세상을 경험하는 것입니다. 마찬가지로, 다중 감각 데이터로 작동 할 수있는 LLM 에이전트는 기계 학습을위한 새로운 가능성을 열 수 있습니다.
다른 감각 양식을 통해 사용 가능한 풍부하고 다양한 데이터를 놓치지 않고 LLM이 작업 할 수있는 다양한 형태의 감각 데이터를 텍스트 데이터로 변환하는 신경망 아키텍처를 사용할 수 있습니다.
예를 들어 Vit-GPT2 및 Blip과 같은 이미지 캡션 모델을 사용하여 이미지를 텍스트 데이터로 변환 할 수 있으며 LLM 에이전트가 처리 할 수 있습니다. 마찬가지로 오디오 데이터의 경우 OpenAi의 Whisper와 같은 오디오 대 텍스트 모델을 사용하여 오디오 신호를 텍스트 데이터로 변환 할 수 있습니다. ??
자, 나는 당신이 무엇을 생각하는지 알고 있습니다 : 비디오는 어떻습니까?, 냄새?, 맛?, 터치 ?? 걱정하지 마세요, 우리는 당신을 덮었습니다! 계산을 저장하기 위해 비디오 데이터의 초당 하나의 프레임을 사용하고 이미지 캡션 모델을 사용하여 각 프레임을 텍스트로 변환 할 수 있습니다. 비디오의 오디오 트랙은 오디오 투 텍스트 모델을 사용하여 분리 및 전사 할 수 있으며 LLM 에이전트에게 시각적 및 청각 데이터를 모두 제공합니다.
냄새?, 맛?, 터치? 햅틱 센서는 압력, 온도 및 기타 물리적 감각을 포착하여 신경망이나 다른 것을 사용하여 텍스트 데이터로 변환 할 수 있습니다.
이 모델은 새로운 모델이 등장함에 따라 쉽게 전환 할 수있는 모듈 식 구성 요소로 사용해야합니다. 보다 포괄적 인 시스템을 만들기 위해 조립할 수있는 레고 블록 또는 반응 구성 요소로 생각하십시오.
따라서 Cupcakeagi와 함께 베이킹을하고 다 감각 데이터를 LLM 에이전트에 통합하여보다 자연스럽고 효과적인 인간-기계 상호 작용을 만듭니다. LLM 에이전트는 서로 다른 감각 데이터를 가용 할 수있게되면 다양한 유형의 데이터를 처리하고 이해할 수 있으며, 다른 작업에 도움이되는 인간과 같은 에이전트를 초래할 수 있습니까?
? Cupcakeagi에 오신 것을 환영합니다. 여기서 우리는 달콤하고 크림 같은 AI의 선을 굽습니다! ??
다음은 LLM 에이전트의 주요 기능 중 일부가 인간과 유사하고 효과적으로 만듭니다.
? 인간과 유사한 행동 : 우리의 LLM 에이전트에는 꿈을 꾸는 능력을 포함하여 인간 행동을 모방하고 임의의 생각을하며 과제를 완수하는 방법에 대한 정신 시뮬레이션을 수행하는 몇 가지 기능이 장착되어 있습니다. 이러한 기능을 사용하면 에이전트가 사용자 쿼리를 더 잘 이해하고 응답 할 수 있습니다.
? 지속적인 기억 : 우리의 LLM 에이전트는 성격, 감정, 생각, 대화 및 작업과 관련된 모든 파일이 저장되는 마음의 상태를 가지고 있습니다. 에이전트가 실행을 중단하더라도 모든 관련 정보는 여전히이 위치에 저장됩니다. 이를 통해 에이전트는보다 개인화되고 효과적인 경험을 제공 할 수 있습니다.
? 감정 매개 변수 : 우리는 행복, 슬픔, 분노, 두려움, 호기심 및 창의성과 같은 감정 매개 변수를 사용하여 LLM 에이전트를보다 표현력 있고 사용자의 요구와 선호도를 더 잘 이해하도록합니다.
? Thinked Bubble : 우리의 LLM 에이전트는 또한 사고 버블을 가지고 있으며, 이는 본질적으로 다른 주제에 해당하는 목록 목록입니다. 이를 통해 에이전트는 생각을 사용자의 쿼리 및 작업과보다 효과적으로 처리하고 통합 할 수 있습니다.
대화 저장소 : LLM 에이전트는 지금까지의 대화와 수행해야 할 작업 목록을 저장합니다. 대화를 청크로 나누고 일관성과 관련성을 유지하기 위해 요약합니다. 이를 통해 에이전트는 사용자와 일관되고 관련된 대화를 유지할 수 있습니다.
이러한 기능을 통해 LLM 에이전트는 사용자가 자연스럽고 효과적인 방식으로 작업을 수행 할 수 있도록 더 잘 갖추어져 있습니다. 우리는 당신이 우리의 달콤하고 크림 같은 AI 선의를 즐기시기 바랍니다! ?
? Cupcakeagi에 오신 것을 환영합니다! 다음은 LLM 에이전트에 대한 약간의 달콤한 부담이 있습니다.
Cupcakeagi에 오신 것을 환영합니다! ????
이 달콤한 프로젝트에 대해 알아야 할 중요한 사항에 대해 이야기합시다.
복잡한 과제 : Cupcakeagi는 가능한 한 인간과 비슷하지만 앞뒤로 중요한 복잡한 작업을 해결하지 못할 수도 있습니다. 우리는 솔루션에 도달하기 위해 여러 당사자와 협상하는 작업에 대해 이야기하고 있습니다. Cupcakeagi는 개인 수준에서 개인을 돕기위한 것이지만, 매우 복잡한 문제를 해결하는 데 적합하지 않을 수 있습니다. 그러나 Cupcakeagi는 여전히 모든 컵 케이크 베이킹 요구에 대한 당신의 노력입니다! ??인?
감각 데이터 변환의 정확성 : Cupcakeagi의 효과는 감각 데이터를 텍스트로 변환하는 데 사용되는 신경망 아키텍처의 정확도에 크게 의존합니다. 이러한 모델이 정확하지 않은 경우 Cupcakeagi는 사용자의 입력을 오해하여 잘못되거나 비효율적 인 응답으로 이어질 수 있습니다. 그러나 걱정하지 마십시오. 우리는 최고의 경험을 얻기 위해 Cupcakeagi의 정확도를 향상시키기 위해 끊임없이 노력하고 있습니다! ??
윤리 및 개인 정보 보호 : Cupcakeagi는 사용자로부터 많은 양의 개인 데이터를 수집하고 처리 할 수있는 잠재력이 있습니다. 따라서 민감한 데이터가 손상되어 개인 정보 보호 문제가 발생할 위험이 있습니다. Cupcakeagi는 컵 케이크 비밀을 안전하게 유지하는 것이 최선입니다! ?
Cupcakeagi를 확인해 주셔서 감사합니다. Cupcakeagi와 함께 항상 완벽한 컵 케이크 레시피가 있습니다! ?
다중 감각 LLM 에이전트 프로젝트의 결론에 오신 것을 환영합니다! ????
우리 프로젝트의 주요 테이크 아웃은 다음과 같습니다.
