CUPCAKEAGI
Version 1.0.0
嘿，那裡的紙杯蛋糕愛好者？ ❤️！我很高興向您介紹我的最新項目Cupcakeagi！
您可以在此處找到該文檔：https：//akshitireddy.github.io/cupcakeagi/
打開終端，然後轉到後端/多感官虛擬AAGI（您需要安裝Conda）
npm install next
conda env create -f environment.yml打開終端，轉到後端/多感官虛擬AAGI
conda activate aagi
uvicorn inference:app打開另一個終端，然後轉到前端/助手（您需要安裝節點）
npm run dev在.env文件中輸入API鍵，您需要一個OpenAI API密鑰，Serper API密鑰
Cupcakeagi是一種旨在模仿類似人類的行為和認知能力的代理商，以幫助用戶執行各種任務。它配備了一些甜味嗎？功能，包括夢想的能力嗎？ ，有隨機的想法，並就如何完成任務進行心理模擬。就像我們人類如何在頭上浮動的思想一樣，Cupcakeagi有一個思想泡沫？帶有抽象單詞。
為了使Cupcakeagi更具表現力，我添加了情感參數。這將允許它以更個人化的方式與用戶互動。
Cupcakeagi最令人印象深刻的功能之一是它可以接受各種形式的感官數據，例如圖像，視頻？和音頻？雖然我還沒有實施氣味嗎？ ，觸摸和味道？但是，它應該類似於我為圖像，視頻和音頻所做的事情。您將需要一個函數將感官數據轉換為文本，然後將其作為文件描述添加為文件描述，並在提示模型時使用。
Cupcakeagi提供了用戶互動的兩個主要功能：談話和任務。談話功能允許使用搜索引擎，計算器和翻譯器等工具立即對用戶查詢進行響應，從而使其成為實時問題解決者。誰不喜歡一個好問題解決者？ ，尤其是在烘焙紙杯蛋糕方面？
該任務功能用於在開始時間或截止日期完成任務。任務和談話功能都可以使用自然語言任務功能將多個工具鏈接在一起，該任務功能將一個工具的輸出轉換為另一種工具的輸入，從而使不同的工具彼此兼容。因此，無論您需要烤一些紙杯蛋糕參加生日聚會還是紙杯蛋糕比賽，Cupcakeagi都可以在這里為您提供幫助！
搜索，計算器，Wikipedia搜索的某些功能是預定義的，這些功能被定義為Python函數，代理可以通過創建Python腳本並導入這些功能，然後運行最終腳本並將輸出保存到可以訪問的文本文件中。可以定義更多的能力，並可以以模塊化的方式修改現有功能，所有人都需要做的就是將Python腳本放在能力函數中，然後提及在能力中使用的名稱，描述和方向。代理可以鏈接這些能力來執行更複雜的任務，並確保兼容性可以使用natural_task_function。
總的來說，我希望您能發現Cupcakeagi是您生活中的甜蜜補充。這個項目創建很有趣，我很高興看到它的去向。感謝您的閱讀和快樂的烘焙！
我們的大腦過程並整合了這些感覺輸入，以形成對我們周圍世界的連貫感知。同樣，在人工智能領域，處理和集成多感官數據的能力對於建立可以以更自然和有效的方式與人互動的智能代理至關重要。
近年來，大型語言模型（LLM）（例如Chatgpt和GPT-4）在基於大量培訓數據的基於人類樣文本方面表現出了非凡的能力。但是，這些模型通常僅限於使用文本和圖像數據，並且缺乏處理其他類型的感覺輸入的能力。
除了處理多感官數據的能力外，LLM代理還表現出幾種通常與人類相關的認知能力。例如，代理具有夢想和隨機思想的能力，被認為在人類創造力，記憶鞏固和解決問題中起著重要作用。通過將這些功能納入LLM代理，我們旨在創建一個可以幫助用戶以更自然和有效的方式執行任務的代理，並使這些代理更像人性化。
？歡迎回到紙杯蛋糕和烘烤的世界！我們都知道，人類的經驗不僅僅是基於文本的互動。這不僅是關於閱讀，還關乎我們所有的感官體驗世界，包括視線，聲音？ ，聞到？ ，品嚐和触摸？同樣，可以使用多感覺數據的LLM代理可以為機器學習的可能性開闢一個新的世界。
我們可以使用神經網絡體系結構將各種形式的感官數據轉換為LLM可以使用的文本數據，而不是錯過通過其他感官模式獲得的豐富和多樣化數據。
例如，我們可以使用vit-gpt2和blip（例如vit-gpt2和blip）將圖像轉換為文本數據，然後使用LLM代理可以對其進行處理。同樣，對於音頻數據，諸如Openai的耳語之類的音頻到文本模型可用於將音頻信號轉換為文本數據。
現在，我知道您在想什麼：視頻呢？ ，聞到？ ，品嚐？和触摸？不用擔心，我們讓您覆蓋了！為了節省計算，我們可以使用每秒視頻數據的一幀並使用圖像字幕模型將每個幀轉換為文本。可以使用音頻到文本模型將視頻的音軌分開和轉錄，從而為LLM代理提供視覺和聽覺數據。
至於氣味？ ，口味？和触摸？ ，我們可以使用電子鼻子和舌頭來捕獲不同類型的化學和品味數據，並將其轉換為LLM可以處理的文本數據。觸覺傳感器可以捕獲壓力，溫度和其他物理感覺，並使用神經網絡或其他任何東西將其轉換為文本數據。
請記住，這些模型應用作模塊化組件，可以輕鬆切換為新型號。將它們視為樂高積木或反應組件，我們可以組裝以創建一個更全面的系統。
因此，讓我們與Cupcakeagi烘烤，並將多感覺數據納入LLM代理，以創建更自然和有效的人機相互作用。借助不同感官數據的可用性，LLM代理可以處理和理解各種類型的數據，從而導致更類似人類的代理可以幫助我們完成不同的任務。
？歡迎來到Cupcakeagi，我們在那裡烘烤一些甜美而奶油的AI天哪！ ？
以下是我們LLM代理的一些關鍵特徵，使其更像人性化和有效：
？類似人類的行為：我們的LLM代理具有幾種模仿人類行為的功能，包括夢想的能力，具有隨機的思想並對如何完成任務進行心理模擬。這些功能使代理可以更好地理解和響應用戶查詢。
？持續記憶：我們的LLM代理具有一個心態，所有文件與其個性，情感，思想，對話和任務有關。即使代理已經停止運行，所有相關信息仍然存儲在此位置。這使代理商可以提供更個性化和有效的體驗。
？情感參數：我們使用情感參數，例如幸福，悲傷，憤怒，恐懼，好奇心和創造力，以使LLM代理更具表現力，並更好地了解用戶的需求和偏好。
？思想氣泡：我們的LLM代理也有一個思想氣泡，這實質上是與不同主題相對應的列表。這使代理可以更有效地處理並將其思想與用戶的查詢和任務集成在一起。
對話存儲：LLM代理商存儲到目前為止的對話以及需要執行的任務列表。它將對話分解為塊，並總結它以保持連貫性和相關性。這使代理商可以與用戶保持連貫且相關的對話。
借助這些功能，我們的LLM代理可以更好地幫助用戶以自然而有效的方式執行任務。我們希望您喜歡我們甜美而奶油的友善！ ???
？歡迎來到Cupcakeagi！以下是有關LLM代理商的一些甜蜜的天性，這將使您的任務成為蛋糕行進：
歡迎來到Cupcakeagi！ ????
讓我們談談您需要了解的有關這個甜蜜項目的重要事情：
複雜的任務：雖然Cupcakeagi盡可能像人性化，但它可能無法解決需要來回大量的複雜任務。我們正在談論涉及與多方談判以達成解決方案的任務。 Cupcakeagi旨在在個人層面上為個人提供幫助，但可能不適合解決高度複雜的問題。不過，不用擔心，Cupcakeagi仍然是您所有的紙杯蛋糕烘焙需求的首選！ ??？
感官數據轉換的準確性：Cupcakeagi的有效性在很大程度上取決於用於將感覺數據轉換為文本的神經網絡架構的準確性。如果這些模型不准確，則Cupcakeagi可能會誤解用戶的輸入，從而導致不正確或無效的響應。但是不要擔心，我們一直在努力提高Cupcakeagi的準確性，以確保您獲得最佳體驗！ ？
道德與隱私：Cupcakeagi有可能從用戶那裡收集和處理大量個人數據。因此，可能會損害敏感數據，從而導致隱私問題。 Cupcakeagi會做到最好將您的紙杯蛋糕秘密安全！ ？
感謝您檢查蛋糕，並記住，在您身邊的Cupcakeagi中，您將始終擁有完美的紙杯蛋糕食譜！ ？
歡迎來到我們多感官LLM代理項目的結論！ ????
這是我們項目的關鍵要點？
