CUPCAKEAGI
Version 1.0.0
ねえ、カップケーキ愛好家？私の最新のプロジェクトであるCupcakeagiを紹介できることを楽しみにしています！
ドキュメントはこちらをご覧ください：https：//akshitireddy.github.io/cupcakeagi/
端末を開いて、バックエンド/多感覚仮想Aagiに移動します（コンドミをインストールする必要があります）
npm install next
conda env create -f environment.yml端末を開けて、バックエンド/マルチセンサリーの仮想Aagiに移動します
conda activate aagi
uvicorn inference:app別の端末を開き、フロントエンド/アシスタントに移動します（ノードをインストールする必要があります）
npm run dev.ENVファイルにAPIキーを入力すると、OpenAI APIキー、SERPERAPIキーが必要です。
Cupcakeagiは、ユーザーがさまざまなタスクを実行するのを支援するために、人間のような行動と認知能力を模倣することを目的とするエージェントです。甘いものが装備されていますか？夢を見る能力を含む機能は、ランダムな考えを持ち、タスクを完了する方法について精神的なシミュレーションを実行します。私たち人間が私たちの頭の周りに浮かぶ考えを持っているように、Cupcakeagiには泡がありますか？抽象的な言葉で。
Cupcakeagiをより表現力豊かにするために、感情パラメーターを追加しました。これにより、より個人的な方法でユーザーとやり取りできます。
Cupcakeagiの最も印象的な機能の1つは、画像？、ビデオ？、オーディオなど、さまざまな形式の感覚データを受け入れることができることです。私は匂いを実装していませんが、タッチと味？しかし、それは私が画像、ビデオ、オーディオのためにしたことに似ているはずです。感覚データをテキストに変換するための関数が必要で、モデルのプロンプトがプロンプト中に使用されるファイルのファイル説明として追加されます。
Cupcakeagiは、ユーザーの相互作用の2つの主要な機能、つまりトークとタスクを提供します。トーク機能により、検索エンジン、計算機、翻訳者などのツールを使用してユーザークエリに即座に応答することができ、リアルタイムの問題ソルバーになります。そして、誰が良い問題ソルバーを愛していないのですか？特にカップケーキを焼くことに関しては？
タスク機能は、開始時間または締め切りまでにタスクを完了するために使用されます。タスクとトークの両方の機能により、あるツールの出力を別のツールの入力に変換する自然言語タスク関数を使用して、複数のツールを一緒にチェーンすることができます。ですから、誕生日パーティーやカップケーキコンテストのためにカップケーキを焼く必要があるかどうかにかかわらず、Cupcakeagiはあなたを助けるためにここにいます！
検索、電卓、ウィキペディアの検索などの能力は事前に定義されています。これらの能力は、Pythonスクリプトを作成し、これらの関数をインポートすることでエージェントが使用できるPython関数として定義されます。より多くの能力を定義し、既存の能力をモジュール形式で変更できます。Pythonスクリプトを能力関数でドロップし、abilities.jsonで使用する名前、説明、方向をState_of_mindディレクトリで使用する必要があります。エージェントは、これらの能力をチェーンして、より複雑なタスクを実行し、互換性を確保することができます。natural_task_functionを使用できます。
全体として、カップカケアギがあなたの人生に甘い追加であることを願っています。このプロジェクトは作成するのがとても楽しかったので、どこに行くのか楽しみです。読んでくれてありがとう、そして幸せなベーキング！
私たちの脳は、これらの感覚入力を処理および統合して、私たちの周りの世界の一貫した認識を形成します。同様に、人工知能の領域では、多感覚データを処理および統合する能力は、より自然で効果的な方法で人間と相互作用できるインテリジェントなエージェントを構築するために重要です。
近年、CHATGPTやGPT-4などの大規模な言語モデル（LLM）は、膨大な量のトレーニングデータに基づいて人間のようなテキストを生成する際に顕著な能力を実証しています。ただし、これらのモデルは通常、テキストと画像データの操作に限定されており、他のタイプの感覚入力を処理する機能がありません。
多感覚データを処理する能力を超えて、LLMエージェントは、通常、人間に関連するいくつかの認知能力を示します。たとえば、エージェントは、人間の創造性、記憶統合、問題解決において重要な役割を果たすと考えられているランダムな思考を夢見て、ランダムな思考を持つ能力を備えています。これらの機能をLLMエージェントに組み込むことにより、ユーザーがより自然で効果的な方法でタスクを実行するのを支援し、これらのエージェントをより人間のようにするエージェントを作成することを目指しています。
？カップケーキとベーキングの世界へようこそ！私たちは皆、人間の経験が単なるテキストベースの相互作用以上のものであることを知っています。それは単に読むことだけでなく、視覚を含むすべての感覚で世界を体験することでもありますか？同様に、多感覚データを使用できるLLMエージェントは、機械学習の可能性の新しい世界を開くことができます。
他の感覚モダリティを通じて利用可能なリッチや多様なデータを見逃す代わりに、さまざまな形態の感覚データをLLMが動作させるテキストデータに変換するニューラルネットワークアーキテクチャを使用できます。
たとえば、VIT-GPT2やBLIPなどの画像キャプションモデルを使用して、画像をテキストデータに変換でき、LLMエージェントが処理できます。同様に、オーディオデータの場合、Openaiのささやきのようなオーディオからテキストモデルを使用して、オーディオ信号をテキストデータに変換できます。
さて、私はあなたが何を考えているのか知っています：ビデオはどうですか？、、匂い？、味？、そして触る??心配しないでください、私たちはあなたをカバーしました！計算を保存するために、1秒あたり1枚のビデオデータを使用して、画像キャプションモデルを使用して各フレームをテキストに変換できます。ビデオからのオーディオトラックは、オーディオツーテキストモデルを使用して分離および転写でき、LLMエージェントに視覚データと聴覚データの両方を提供します。
臭いは？、味、味、そして触れてください。電子的な鼻と舌を使用して、さまざまな種類の化学データと味覚データをキャプチャし、LLMが処理できるテキストデータに変換できます。触覚センサーは、圧力、温度、およびその他の物理的感覚をキャプチャし、ニューラルネットワークなどを使用してテキストデータに変換できます。
これらのモデルは、新しいモデルが出現するにつれて簡単に切り替えることができるモジュラーコンポーネントとして使用する必要があることを忘れないでください。それらは、より包括的なシステムを作成するために組み立てられるレゴブロックまたは反応コンポーネントと考えてください。
それでは、Cupcakeagiでベーキングし、多感覚データをLLMエージェントに組み込み、より自然で効果的なヒューマシン相互作用を作成しましょう。さまざまな感覚データが可用性であるため、LLMエージェントはさまざまな種類のデータを処理および理解し、さまざまなタスクで私たちを支援できるより人間のようなエージェントにつながります。
？ Cupcakeagiへようこそ。ここでは、甘くてクリーミーなAIの良さを焼きます！ ??
LLMエージェントの重要な機能をいくつか紹介します。
？人間のような行動：私たちのLLMエージェントには、夢を見る能力、ランダムな思考を持ち、タスクを完了する方法の精神シミュレーションを実行するなど、人間の行動を模倣するいくつかの機能が装備されています。これらの機能により、エージェントはユーザークエリをよりよく理解し、応答することができます。
？永続的なメモリ：LLMエージェントには、その性格、感情、思考、会話、およびタスクに関連するすべてのファイルが保存される心の状態があります。エージェントが実行を停止したとしても、関連するすべての情報はまだこの場所に保存されます。これにより、エージェントはよりパーソナライズされた効果的なエクスペリエンスを提供できます。
？感情パラメーター：幸福、悲しみ、怒り、恐怖、好奇心、創造性などの感情パラメーターを使用して、LLMエージェントをより表現力豊かにし、ユーザーのニーズと好みをよりよく理解します。
？思考バブル：LLMエージェントには思考のバブルもあります。これは、本質的に異なるトピックに対応するリストのリストです。これにより、エージェントはその考えをより効果的に処理し、ユーザーのクエリやタスクと統合できます。
会話ストレージ：LLMエージェントは、これまでの会話と実行する必要があるタスクのリストを保存します。会話をチャンクに分割し、一貫性と関連性を維持するためにそれを要約します。これにより、エージェントはユーザーと一貫した関連する会話を維持できます。
これらの機能により、当社のLLMエージェントは、ユーザーが自然で効果的な方法でタスクを実行するのを支援するためにより優れています。私たちはあなたが私たちの甘くてクリーミーなAIの良さを楽しむことを願っています！ ???
？ Cupcakeagiへようこそ！ LLMエージェントに関する甘いディートは、タスクをケーキウォークにするものです。
Cupcakeagiへようこそ！ ????
この甘いプロジェクトについて知っておくべき重要なことについて話しましょう。
複雑なタスク：Cupcakeagiは可能な限り人間のようなものですが、重要な前後を必要とする複雑なタスクを解決できない場合があります。私たちは、解決策に到達するために複数の関係者と交渉することを含むタスクについて話している。 Cupcakeagiは、個人レベルで個人を支援することを目的としていますが、非常に複雑な問題を解決するのに適していない場合があります。心配しないでください、Cupcakeagiはまだあなたのすべてのカップケーキのベーキングのニーズにぴったりです！ ??？
感覚データ変換の精度：CupCakeagiの有効性は、感覚データをテキストに変換するために使用されるニューラルネットワークアーキテクチャの精度に大きく依存しています。これらのモデルが正確でない場合、CupCakeagiはユーザーの入力を誤解し、正しくないまたは効果のない応答につながる可能性があります。しかし、心配しないでください、私たちはあなたが可能な限り最高の体験を得るために、Cupcakeagiの正確さを改善することに常に取り組んでいます！ ??
倫理とプライバシー：Cupcakeagiには、ユーザーから大量の個人データを収集および処理する可能性があります。したがって、機密データが危険にさらされ、プライバシーの懸念につながる可能性があるというリスクがあります。 Cupcakeagiは、カップケーキの秘密を安全に保つのが最善です！ ？
Cupcakeagiをチェックしてくれてありがとう、そして覚えておいてください、Cupcakeagiをあなたのそばに置いて、あなたはいつも完璧なカップケーキのレシピを手に入れるでしょう！ ？
多感覚LLMエージェントプロジェクトの結論へようこそ！ ????
これが私たちのプロジェクトからの重要な持ち帰りです??
