CUPCAKEAGI
Version 1.0.0
嘿，那里的纸杯蛋糕爱好者？❤️！我很高兴向您介绍我的最新项目Cupcakeagi！
您可以在此处找到该文档：https：//akshitireddy.github.io/cupcakeagi/
打开终端，然后转到后端/多感官虚拟AAGI（您需要安装Conda）
npm install next
conda env create -f environment.yml打开终端，转到后端/多感官虚拟AAGI
conda activate aagi
uvicorn inference:app打开另一个终端，然后转到前端/助手（您需要安装节点）
npm run dev在.env文件中输入API键，您需要一个OpenAI API密钥，Serper API密钥
Cupcakeagi是一种旨在模仿类似人类的行为和认知能力的代理商，以帮助用户执行各种任务。它配备了一些甜味吗？功能，包括梦想的能力吗？，有随机的想法，并就如何完成任务进行心理模拟。就像我们人类如何在头上浮动的思想一样，Cupcakeagi有一个思想泡沫？带有抽象单词。
为了使Cupcakeagi更具表现力，我添加了情感参数。这将允许它以更个人化的方式与用户互动。
Cupcakeagi最令人印象深刻的功能之一是它可以接受各种形式的感官数据，例如图像，视频？和音频？虽然我还没有实施气味吗？，触摸和味道？但是，它应该类似于我为图像，视频和音频所做的事情。您将需要一个函数将感官数据转换为文本，然后将其作为文件描述添加为文件描述，并在提示模型时使用。
Cupcakeagi提供了用户互动的两个主要功能：谈话和任务。谈话功能允许使用搜索引擎，计算器和翻译器等工具立即对用户查询进行响应，从而使其成为实时问题解决者。谁不喜欢一个好问题解决者？，尤其是在烘焙纸杯蛋糕方面？
该任务功能用于在开始时间或截止日期完成任务。任务和谈话功能都可以使用自然语言任务功能将多个工具链接在一起，该任务功能将一个工具的输出转换为另一种工具的输入，从而使不同的工具彼此兼容。因此，无论您需要烤一些纸杯蛋糕参加生日聚会还是纸杯蛋糕比赛，Cupcakeagi都可以在这里为您提供帮助！
搜索，计算器，Wikipedia搜索的某些功能是预定义的，这些功能被定义为Python函数，代理可以通过创建Python脚本并导入这些功能，然后运行最终脚本并将输出保存到可以访问的文本文件中。可以定义更多的能力，并可以以模块化的方式修改现有功能，所有人都需要做的就是将Python脚本放在能力函数中，然后提及在能力中使用的名称，描述和方向。代理可以链接这些能力来执行更复杂的任务，并确保兼容性可以使用natural_task_function。
总的来说，我希望您能发现Cupcakeagi是您生活中的甜蜜补充。这个项目创建很有趣，我很高兴看到它的去向。感谢您的阅读和快乐的烘焙！
我们的大脑过程并整合了这些感觉输入，以形成对我们周围世界的连贯感知。同样，在人工智能领域，处理和集成多感官数据的能力对于建立可以以更自然和有效的方式与人互动的智能代理至关重要。
近年来，大型语言模型（LLM）（例如Chatgpt和GPT-4）在基于大量培训数据的基于人类样文本方面表现出了非凡的能力。但是，这些模型通常仅限于使用文本和图像数据，并且缺乏处理其他类型的感觉输入的能力。
除了处理多感官数据的能力外，LLM代理还表现出几种通常与人类相关的认知能力。例如，代理具有梦想和随机思想的能力，被认为在人类创造力，记忆巩固和解决问题中起着重要作用。通过将这些功能纳入LLM代理，我们旨在创建一个可以帮助用户以更自然和有效的方式执行任务的代理，并使这些代理更像人性化。
？欢迎回到纸杯蛋糕和烘烤的世界！我们都知道，人类的经验不仅仅是基于文本的互动。这不仅是关于阅读，还关乎我们所有的感官体验世界，包括视线，声音？，闻到？，品尝和触摸？同样，可以使用多感觉数据的LLM代理可以为机器学习的可能性开辟一个新的世界。
我们可以使用神经网络体系结构将各种形式的感官数据转换为LLM可以使用的文本数据，而不是错过通过其他感官模式获得的丰富和多样化数据。
例如，我们可以使用vit-gpt2和blip（例如vit-gpt2和blip）将图像转换为文本数据，然后使用LLM代理可以对其进行处理。同样，对于音频数据，诸如Openai的耳语之类的音频到文本模型可用于将音频信号转换为文本数据。
现在，我知道您在想什么：视频呢？，闻到？，品尝？和触摸？不用担心，我们让您覆盖了！为了节省计算，我们可以使用每秒视频数据的一帧并使用图像字幕模型将每个帧转换为文本。可以使用音频到文本模型将视频的音轨分开和转录，从而为LLM代理提供视觉和听觉数据。
至于气味？，口味？和触摸？，我们可以使用电子鼻子和舌头来捕获不同类型的化学和品味数据，并将其转换为LLM可以处理的文本数据。触觉传感器可以捕获压力，温度和其他物理感觉，并使用神经网络或其他任何东西将其转换为文本数据。
请记住，这些模型应用作模块化组件，可以轻松切换为新型号。将它们视为乐高积木或反应组件，我们可以组装以创建一个更全面的系统。
因此，让我们与Cupcakeagi烘烤，并将多感觉数据纳入LLM代理，以创建更自然和有效的人机相互作用。借助不同感官数据的可用性，LLM代理可以处理和理解各种类型的数据，从而导致更类似人类的代理可以帮助我们完成不同的任务。
？欢迎来到Cupcakeagi，我们在那里烘烤一些甜美而奶油的AI天哪！ ？
以下是我们LLM代理的一些关键特征，使其更像人性化和有效：
？类似人类的行为：我们的LLM代理具有几种模仿人类行为的功能，包括梦想的能力，具有随机的思想并对如何完成任务进行心理模拟。这些功能使代理可以更好地理解和响应用户查询。
？持续记忆：我们的LLM代理具有一个心态，所有文件与其个性，情感，思想，对话和任务有关。即使代理已经停止运行，所有相关信息仍然存储在此位置。这使代理商可以提供更个性化和有效的体验。
？情感参数：我们使用情感参数，例如幸福，悲伤，愤怒，恐惧，好奇心和创造力，以使LLM代理更具表现力，并更好地了解用户的需求和偏好。
？思想气泡：我们的LLM代理也有一个思想气泡，这实质上是与不同主题相对应的列表。这使代理可以更有效地处理并将其思想与用户的查询和任务集成在一起。
对话存储：LLM代理商存储到目前为止的对话以及需要执行的任务列表。它将对话分解为块，并总结它以保持连贯性和相关性。这使代理商可以与用户保持连贯且相关的对话。
借助这些功能，我们的LLM代理可以更好地帮助用户以自然而有效的方式执行任务。我们希望您喜欢我们甜美而奶油的友善！ ???
？欢迎来到Cupcakeagi！以下是有关LLM代理商的一些甜蜜的天性，这将使您的任务成为蛋糕行进：
欢迎来到Cupcakeagi！ ????
让我们谈谈您需要了解的有关这个甜蜜项目的重要事情：
复杂的任务：虽然Cupcakeagi尽可能像人性化，但它可能无法解决需要来回大量的复杂任务。我们正在谈论涉及与多方谈判以达成解决方案的任务。 Cupcakeagi旨在在个人层面上为个人提供帮助，但可能不适合解决高度复杂的问题。不过，不用担心，Cupcakeagi仍然是您所有的纸杯蛋糕烘焙需求的首选！ ??？
感官数据转换的准确性：Cupcakeagi的有效性在很大程度上取决于用于将感觉数据转换为文本的神经网络架构的准确性。如果这些模型不准确，则Cupcakeagi可能会误解用户的输入，从而导致不正确或无效的响应。但是不要担心，我们一直在努力提高Cupcakeagi的准确性，以确保您获得最佳体验！ ？
道德与隐私：Cupcakeagi有可能从用户那里收集和处理大量个人数据。因此，可能会损害敏感数据，从而导致隐私问题。 Cupcakeagi会做到最好将您的纸杯蛋糕秘密安全！ ？
感谢您检查蛋糕，并记住，在您身边的Cupcakeagi中，您将始终拥有完美的纸杯蛋糕食谱！ ？
欢迎来到我们多感官LLM代理项目的结论！ ????
这是我们项目的关键要点？
