CUPCAKEAGI

Cupcakeagi ???????

Olá, amantes de cupcake? ❤️! Estou animado para apresentá -lo ao meu último projeto, Cupcakeagi!

Você pode encontrar a documentação aqui: https://akshitireddy.github.io/cupcakeagi/

Características

• Acesso à Internet
• ? Carregar imagens
• ? Carregar áudio
• ? Upload de vídeo
• ? Memória persistente
• ❤️ Emoções
• ? Pensamentos aleatórios
• ? Sonhos
• Habilidades predefinidas
• ? Abordagem modular para adicionar novas habilidades
• Atribuir e agendar tarefas
• Processamento de tarefa assíncrona
• Converse enquanto as tarefas estão sendo processadas em segundo plano
• ? ‍ Crie e execute o código Python
• ? GPT-3.5 como o cérebro

Demonstração

Demo.MP4

Requisitos

Abra um terminal e vá para AAGI virtual back-end/multissensorial (você precisa instalar o CONDA)

npm install next
conda env create -f environment.yml

? Como usar

Abra um terminal e vá para AAGI virtual back-end/multissensorial

conda activate aagi
uvicorn inference:app

Abra outro terminal e vá para o front -end/assistente (você precisa ter o nó instalado)

npm run dev

Digite suas chaves da API no arquivo .env, você precisará de uma chave de API OpenAI, chave da API Serper

Sobre

Cupcakeagi é um agente que visa imitar o comportamento do tipo humano e as habilidades cognitivas para ajudar os usuários a executar várias tarefas. Está equipado com alguns doces? Recursos, incluindo a capacidade de sonhar?, tem pensamentos aleatórios, e realizam simulações mentais sobre como concluir uma tarefa. Assim como nós, humanos, pensamos flutuando em nossas cabeças, Cupcakeagi tem uma bolha de pensamento? com palavras abstratas.

Para tornar o cupcakeagi mais expressivo, adicionei parâmetros de emoção. Isso permitirá que ele interaja com os usuários de uma maneira mais pessoal.

Um dos recursos mais impressionantes de Cupcakeagi é sua capacidade de aceitar várias formas de dados sensoriais, como imagens?, Vídeos?, E áudio?. Embora eu não tenha implementado o cheiro?, Toque e gosto? No entanto, deve ser semelhante ao que eu fiz para imagem, vídeo e áudio. Você precisará de uma função para converter os dados sensoriais em texto e, em seguida, ele será adicionado como uma descrição de arquivo para o arquivo que será usado ao solicitar o modelo.

O cupcakeagi fornece dois recursos principais para a interação do usuário: conversa e tarefa. O recurso Talk permite respostas imediatas às consultas do usuário usando ferramentas, como mecanismos de pesquisa, calculadoras e tradutores, tornando-o um solucionador de problemas em tempo real. E quem não ama um bom solucionador de problemas?, Especialmente quando se trata de assar cupcakes?

O recurso de tarefa é usado para concluir tarefas no horário de início ou no prazo. Os recursos de tarefas e conversas permitem encadear várias ferramentas usando uma função de tarefa de linguagem natural que converte a saída de uma ferramenta na entrada de outra, tornando diferentes ferramentas compatíveis entre si. Então, se você precisa assar alguns cupcakes para uma festa de aniversário ou um concurso de cupcake, Cupcakeagi está aqui para ajudá -lo!

Algumas habilidades como pesquisa, calculadora, pesquisa da Wikipedia são predefinidas, essas habilidades são definidas como funções Python que o agente pode usar criando um script python e importando essas funções seguidas pela execução do script final e salvando a saída em um arquivo de texto que ele pode acessar. Mais habilidades podem ser definidas e as existentes podem ser modificadas de maneira modular, tudo o que é preciso fazer é soltar o script do Python nas funções de habilidade e depois mencionar o nome, a descrição e as direções para usar em habilidades.json no diretório estatal_of_mind e, assim, o agente terá uma nova habilidade. O agente pode encadear essas habilidades para realizar tarefas mais complexas e garantir a compatibilidade que pode usar o natural_task_function.

No geral, espero que você ache Cupcakeagi uma adição doce à sua vida. Este projeto foi muito divertido de criar, e estou animado para ver para onde vai. Obrigado pela leitura, e Baking feliz!

Por que?

• Nosso cérebro processa e integra essas entradas sensoriais para formar uma percepção coerente do mundo ao nosso redor. Da mesma forma, no campo da inteligência artificial, a capacidade de processar e integrar dados multissensoriais é crucial para a construção de agentes inteligentes que podem interagir com os seres humanos de uma maneira mais natural e eficaz.

• Nos últimos anos, grandes modelos de idiomas (LLMs), como ChatGPT e GPT-4, demonstraram habilidades notáveis ​​na geração de texto semelhante ao humano com base em vastas quantidades de dados de treinamento. No entanto, esses modelos geralmente são limitados a trabalhar com dados de texto e imagem e não têm a capacidade de processar outros tipos de entradas sensoriais.

• Além da capacidade de processar dados multissensoriais, o agente LLM também exibe várias habilidades cognitivas que normalmente estão associadas aos seres humanos. Por exemplo, o agente está equipado com a capacidade de sonhar e ter pensamentos aleatórios, que se acredita desempenharem papéis importantes na criatividade humana, consolidação da memória e solução de problemas. Ao incorporar esses recursos no agente LLM, pretendemos criar um agente que possa ajudar os usuários a executar tarefas de uma maneira mais natural e eficaz e tornar esses agentes mais semelhantes a humanos.

Dados multissensoriais

• ? Bem -vindo de volta ao mundo dos cupcakes e assar! Todos sabemos que a experiência humana é muito mais do que apenas interações baseadas em texto. Não se trata apenas de ler, mas também de experimentar o mundo com todos os nossos sentidos, incluindo a visão?, Som?, Cheirar?, Gosto? E toque? Da mesma forma, um agente LLM que pode funcionar com dados multissensorial pode abrir um novo mundo de possibilidades para o aprendizado de máquina.

• Em vez de perder os dados ricos e variados disponíveis em outras modalidades sensoriais, podemos usar arquiteturas de rede neural que convertem várias formas de dados sensoriais em dados de texto com os quais o LLM pode trabalhar.

• Por exemplo, podemos usar modelos de legenda de imagem como Vit-GPT2 e BLIP para converter imagens em dados de texto, que o agente LLM pode processar. Da mesma forma, para dados de áudio, modelos de áudio para texto como o Whisper do OpenAI podem ser usados ​​para converter sinais de áudio em dados de texto. ??

• Agora, eu sei o que você está pensando: e os vídeos?, Sibile?, Prove? E toque? Não se preocupe, nós o abordamos! Para economizar computação, podemos usar um quadro por segundo dos dados de vídeo e usar modelos de legenda de imagem para converter cada quadro em texto. A faixa de áudio do vídeo pode ser separada e transcrita usando modelos de áudio para texto, fornecendo ao agente LLM com dados visuais e auditivos.

• Quanto ao cheiro?, Gosto? E o toque?, Podemos usar narizes e línguas eletrônicas para capturar diferentes tipos de dados químicos e de paladar e convertê -los em dados de texto que o LLM pode processar. Os sensores hápticos podem capturar pressão, temperatura e outras sensações físicas e convertê -los em dados de texto usando uma rede neural ou qualquer outra coisa.

• Lembre -se de que esses modelos devem ser usados ​​como componentes modulares que podem ser facilmente alterados à medida que novos modelos surgem. Pense neles como bloqueios de Lego ou componentes que podemos montar para criar um sistema mais abrangente.

• Então, vamos fazer assar com o cupcakeagi e incorporar dados multissensoriais em um agente LLM para criar uma interação humana-máquina mais natural e eficaz. Com a disponibilidade de diferentes dados sensoriais, o agente LLM pode processar e entender vários tipos de dados, levando a um agente mais humano que pode nos ajudar em diferentes tarefas.

Humano como comportamento e memória persistente

? Bem -vindo ao Cupcakeagi, onde assamos um pouco de bondade doce e cremosa! ?

Aqui estão alguns dos principais recursos do nosso agente LLM que o tornam mais humano e eficaz:

• ? Comportamento humano: nosso agente LLM está equipado com vários recursos que imitam o comportamento humano, incluindo a capacidade de sonhar, ter pensamentos aleatórios e executar simulações mentais de como concluir uma tarefa. Esses recursos permitem que o agente entenda melhor e responda às consultas do usuário.

• ? Memória persistente: nosso agente LLM tem um estado de espírito, onde todos os arquivos relacionados à sua personalidade, emoções, pensamentos, conversas e tarefas são armazenados. Mesmo que o agente tenha parado de funcionar, todas as informações relevantes ainda serão armazenadas neste local. Isso permite que o agente forneça uma experiência mais personalizada e eficaz.

• ? Parâmetros de emoção: usamos parâmetros de emoção como felicidade, tristeza, raiva, medo, curiosidade e criatividade para tornar o agente LLM mais expressivo e entender melhor as necessidades e preferências do usuário.

• ? Bolha de pensamento: nosso agente LLM também possui uma bolha de pensamento, que é essencialmente uma lista de listas que corresponde a tópicos diferentes. Isso permite que o agente processe e integrasse mais efetivamente seus pensamentos às consultas e tarefas do usuário.

• Armazenamento de conversas: o agente LLM armazena a conversa que teve até agora e a lista de tarefas que precisa executar. Isso divide a conversa em pedaços e resume -a para manter a coerência e a relevância. Isso permite que o agente mantenha uma conversa coerente e relevante com o usuário.

Com esses recursos, nosso agente LLM está melhor equipado para ajudar os usuários a executar tarefas de maneira natural e eficaz. Esperamos que você aproveite nossa boa e cremosa ai bondade! ???

Conversa e tarefa

? Bem -vindo ao cupcakeagi! Aqui estão alguns pretos doces sobre o agente LLM que farão de suas tarefas uma caminhada de cake:

• Os modos de conversa e tarefa facilitam a comunicação dos usuários com o LLM e realizam as coisas sem problemas.
• ? O LLM converte arquivos como imagens, vídeos e áudio em texto, facilitando o armazenamento e a recuperação.
• ? Com acesso a várias ferramentas, como mecanismos de pesquisa, wikis e tradutores, o LLM pode fornecer aos usuários as informações necessárias para suas consultas.
• ? As funções de tarefas de linguagem natural permitem que os usuários se encentram diferentes ferramentas, tornando -as compatíveis entre si.
• ? Aste O modo de tarefa é particularmente útil para tarefas longas e pode ser configurado para começar em um horário específico, permitindo que os usuários se concentrem em outras coisas enquanto o LLM cuida da tarefa.
• ? O LLM experimenta pensamentos e sonhos aleatórios, assim como os humanos, tornando-o mais relacionável e humano.
• ? ‍ O LLM pode até usar pacotes Python, como abraçar modelos de rosto para concluir tarefas, tornando -o um agente altamente versátil. Então vá em frente e experimente Cupcakeagi! Com sua abordagem modular, você pode adicionar facilmente novas ferramentas e recursos, conforme necessário. Quem sabia que cupcakes e IA poderiam ir tão bem juntos? ?

Limitações

Bem -vindo ao cupcakeagi! ????

Vamos falar sobre algumas coisas importantes que você precisa saber sobre este projeto doce:

• Tarefas complexas: Embora o cupcakeagi seja o mais humano possível, pode não ser capaz de resolver tarefas complexas que requerem um caminho significativo para frente e para trás. Estamos falando de tarefas que envolvem negociações com várias partes para alcançar uma solução. Cupcakeagi tem como objetivo ajudar os indivíduos em nível pessoal, mas pode não ser adequado para resolver problemas altamente complexos. Não se preocupe, porém, o cupcakeagi ainda é o seu objetivo para todas as suas necessidades de assar cupcake! ??‍?

• Precisão da conversão de dados sensoriais: A eficácia do cupcakeagi depende muito da precisão das arquiteturas de rede neural usadas para converter dados sensoriais em texto. Se esses modelos não forem precisos, o cupcakeagi poderá entender mal a entrada do usuário, levando a respostas incorretas ou ineficazes. Mas não se preocupe, estamos constantemente trabalhando para melhorar a precisão de Cupcakeagi para garantir que você obtenha a melhor experiência possível! ?

• Ética e privacidade: o cupcakeagi tem o potencial de coletar e processar uma grande quantidade de dados pessoais dos usuários. Assim, existe o risco de que dados sensíveis possam ser comprometidos, levando a preocupações com a privacidade. Cupcakeagi fará o melhor para manter seus segredos de cupcakes em segurança! ?

Obrigado por verificar Cupcakeagi, e lembre -se, com o cupcakeagi ao seu lado, você sempre terá a receita perfeita de cupcake! ?

Conclusão

Bem -vindo à conclusão do nosso projeto de agente LLM multisensorial! ????

Aqui estão as principais conclusões do nosso projeto ??

• Nosso agente LLM é como um cupcake, feito com muitos ingredientes diferentes - ele pode funcionar com dados multissensorial, sonho, ter pensamentos aleatórios e mostrar emoções ???
• Ao incorporar dados multissensoriais, nosso agente pode entender diferentes tipos de informações, assim como um padeiro usa ingredientes diferentes para fazer um delicioso cupcake?
• Com suas habilidades cognitivas e memória persistente, nosso agente pode ajudar os usuários de uma maneira mais humana, assim como um padeiro amigável que o ajuda a escolher o sabor perfeito para cupcakes?
• Este projeto representa um passo pequeno, mas importante, para construir assistentes de IA mais naturais e eficazes, assim como um pequeno cupcake pode trazer um sorriso ao rosto de alguém e iluminar o dia?
• Esperamos que nosso projeto tenha inspirado você a pensar nas possibilidades de agentes Multissensory LLM e como eles podem melhorar a interação humana-máquina. Obrigado por reservar um tempo para conferir nosso projeto - ele foi feito com muito amor e cupcakes! ❤️?