CUPCAKEAGI
Version 1.0.0
يا هناك عشاق كب كيك؟ ❤! أنا متحمس لتقديمك إلى آخر مشروعي ، Cupcakeagi!
يمكنك العثور على الوثائق هنا: https://akshitireddy.github.io/cupcakeagi/
افتح محطة وانتقل إلى الواجهة الخلفية/Aagi الافتراضية المتعددة (تحتاج إلى تثبيت كوندا)
npm install next
conda env create -f environment.ymlافتح محطة وانتقل إلى الخلفية/aagi الافتراضية متعددة الحواس
conda activate aagi
uvicorn inference:appافتح محطة أخرى وانتقل إلى الواجهة الأمامية/المساعد (تحتاج إلى تثبيت عقدة)
npm run devأدخل مفاتيح API في ملف .env ، ستحتاج إلى مفتاح Openai API ، مفتاح API Serper
Cupcakeagi هو وكيل يهدف إلى تقليد السلوك الذي يشبه الإنسان والقدرات المعرفية لمساعدة المستخدمين في أداء مختلف المهام. إنها مجهزة ببعض الحلو؟ الميزات ، بما في ذلك القدرة على الحلم؟ ، لديك أفكار عشوائية ، وإجراء عمليات محاكاة عقلية حول كيفية إكمال المهمة. تماما مثل كيف لدينا البشر أفكار تطفو حول رؤوسنا ، Cupcakeagi لديه فقاعة الفكر؟ بكلمات مجردة.
لجعل Cupcakeagi أكثر تعبيرا ، لقد أضفت معلمات العاطفة. سيسمح ذلك بالتفاعل مع المستخدمين بطريقة أكثر شخصية.
واحدة من ميزات Cupcakeagi الأكثر إثارة للإعجاب هي قدرتها على قبول أشكال مختلفة من البيانات الحسية ، مثل الصور؟ ، مقاطع الفيديو؟ ، والصوت؟ على الرغم من أنني لم أكن قد قمت بتنفيذ رائحة؟ ، لمس ويذوق؟ ومع ذلك ، يجب أن يكون مشابهًا لما فعلته للصور والفيديو والصوت. ستحتاج إلى وظيفة لتحويل البيانات الحسية إلى رسالة نصية ، ثم سيتم إضافتها كوصف ملف للملف الذي سيتم استخدامه أثناء مطالبة النموذج.
يوفر Cupcakeagi ميزتين رئيسيتين لتفاعل المستخدم: الحديث والمهمة. تتيح ميزة Talk استجابات فورية لاستعلامات المستخدمين باستخدام أدوات مثل محركات البحث ، والآلات الحاسبة ، والمترجمين ، مما يجعلها حل المشكلات في الوقت الفعلي. ومن لا يحب حل المشكلات الجيدة؟ ، خاصة عندما يتعلق الأمر بخبز الكعك ؟؟
يتم استخدام ميزة المهمة لاستكمال المهام في وقت البدء أو في الموعد النهائي. تتيح كل من ميزات Task & Talk تخصيص أدوات متعددة معًا باستخدام وظيفة مهمة لغة طبيعية تقوم بتحويل إخراج أداة إلى أخرى ، مما يجعل أدوات مختلفة متوافقة مع بعضها البعض. لذا ، سواء كنت بحاجة إلى خبز بعض الكعك لحفلة عيد ميلاد أو مسابقة كب كيك ، فإن Cupcakeagi موجود هنا لمساعدتك!
بعض القدرات مثل البحث ، والآلة الحاسبة ، والبحث عن ويكيبيديا محددة مسبقًا ، يتم تعريف هذه القدرات على أنها وظائف Python التي يمكن للوكيل استخدامها عن طريق إنشاء برنامج نصي Python واستيراد هذه الوظائف متبوعًا بتشغيل البرنامج النصي النهائي وحفظ الإخراج إلى ملف نصي يمكن للوصول إليه. يمكن تحديد مزيد من القدرات ويمكن تعديل القدرات الحالية بطريقة معيارية ، كل ما يتعين على المرء فعله هو إسقاط البرنامج النصي Python في وظائف القدرة ، ثم ذكر اسمه ووصفه واتجاهاته لاستخدامه في القدرات. يمكن للوكيل أن يربط هذه القدرات للقيام بمهام أكثر تعقيدًا ولضمان التوافق ، يمكنه استخدام Natural_Task_Function.
بشكل عام ، أتمنى أن تجد Cupcakeagi إضافة حلوة إلى حياتك. كان هذا المشروع ممتعًا للغاية ، وأنا متحمس لمعرفة أين يذهب. شكرا للقراءة ، والخبز سعيد!
يعالج دماغنا ويدمج هذه المدخلات الحسية لتشكيل تصور متماسك للعالم من حولنا. وبالمثل ، في عالم الذكاء الاصطناعي ، فإن القدرة على معالجة ودمج البيانات متعددة الحواس أمر بالغ الأهمية لبناء عوامل ذكية يمكنها التفاعل مع البشر بطريقة أكثر طبيعية وفعالية.
في السنوات الأخيرة ، أظهرت نماذج اللغة الكبيرة (LLMS) مثل ChatGPT و GPT-4 قدرات رائعة في توليد نص يشبه الإنسان بناءً على كميات هائلة من بيانات التدريب. ومع ذلك ، تقتصر هذه النماذج عادة على العمل مع بيانات النص والصور وتفتقر إلى القدرة على معالجة أنواع أخرى من المدخلات الحسية.
إلى جانب القدرة على معالجة البيانات متعددة الحواس ، يعرض وكيل LLM أيضًا العديد من القدرات المعرفية التي ترتبط عادةً بالبشر. على سبيل المثال ، تم تجهيز الوكيل بالقدرة على الحلم ولديه أفكار عشوائية ، والتي يُعتقد أنها تلعب أدوارًا مهمة في الإبداع الإنساني ، وتوحيد الذاكرة ، وحل المشكلات. من خلال دمج هذه الميزات في وكيل LLM ، فإننا نهدف إلى إنشاء وكيل يمكنه مساعدة المستخدمين في أداء المهام بطريقة أكثر طبيعية وفعالية وجعل هذه الوكلاء يشبهون الإنسان.
؟ مرحبًا بك مرة أخرى في عالم الكعك والخبز! نعلم جميعًا أن التجربة الإنسانية أكثر بكثير من مجرد تفاعلات قائمة على النص. لا يتعلق الأمر فقط بالقراءة ، ولكن أيضًا عن تجربة العالم مع كل حواسنا ، بما في ذلك البصر؟ ، الصوت؟ ، الرائحة؟ ، الذوق؟ ، واللمس؟ وبالمثل ، يمكن لوكيل LLM الذي يمكنه العمل مع بيانات متعددة الحواس أن يفتح عالمًا جديدًا من إمكانيات التعلم الآلي.
بدلاً من فقدان البيانات الغنية والمتنوعة المتاحة من خلال الطرائق الحسية الأخرى ، يمكننا استخدام بنيات الشبكة العصبية التي تقوم بتحويل أشكال مختلفة من البيانات الحسية إلى بيانات نصية يمكن أن تعمل معها.
على سبيل المثال ، يمكننا استخدام نماذج توضيح الصورة مثل VIT-GPT2 و BLIP لتحويل الصور إلى بيانات نصية ، والتي يمكن لوكيل LLM معالجتها بعد ذلك. وبالمثل ، بالنسبة لبيانات الصوت ، يمكن استخدام نماذج من الصوت إلى النص مثل Whisper من Openai لتحويل إشارات الصوت إلى بيانات نصية. ؟؟
الآن ، أعرف ما تفكر فيه: ماذا عن مقاطع الفيديو؟ ، رائحة؟ ، الذوق؟ ، ولمس ؟؟ لا تقلق ، لقد قمت بتغطيتك! لحفظ الحساب ، يمكننا استخدام إطار واحد في الثانية من بيانات الفيديو واستخدام نماذج توضيح الصورة لتحويل كل إطار إلى نص. يمكن فصل المسار الصوتي من الفيديو ونسخه باستخدام نماذج من الصوت إلى النص ، مما يوفر لوكيل LLM كل من البيانات المرئية والسمعية.
أما بالنسبة للرائحة؟ ، الذوق؟ ، ولمس؟ ، يمكننا استخدام الأنف والألسنة الإلكترونية لالتقاط أنواع مختلفة من بيانات المواد الكيميائية والذوق وتحويلها إلى بيانات نصية يمكن لـ LLM معالجتها. يمكن لأجهزة الاستشعار haptic التقاط الضغط ودرجة الحرارة والأحاسيس الفيزيائية الأخرى وتحويلها إلى بيانات نصية باستخدام شبكة عصبية أو أي شيء آخر.
تذكر أنه ينبغي استخدام هذه النماذج كمكونات معيارية يمكن تبديلها بسهولة مع ظهور نماذج جديدة. فكر فيها ككتل LEGO أو مكونات رد الفعل التي يمكننا تجميعها لإنشاء نظام أكثر شمولاً.
لذلك ، دعنا نخبز مع Cupcakeagi ودمج البيانات متعددة الحواس في وكيل LLM لإنشاء تفاعل أكثر طبيعية وفعالية البشرية. مع توفر البيانات الحسية المختلفة ، يمكن لوكيل LLM معالجة وفهم أنواع مختلفة من البيانات ، مما يؤدي إلى عامل أكثر تشبه الإنسان يمكن أن يساعدنا في مهام مختلفة.
؟ مرحبًا بكم في Cupcakeagi ، حيث نخبز بعض الخير الحلو والكريمي! ؟
فيما يلي بعض الميزات الرئيسية لعامل LLM الذي يجعله أكثر تشبه الإنسان وفعالية:
؟ السلوك الذي يشبه الإنسان: تم تجهيز عامل LLM الخاص بنا بالعديد من الميزات التي تحاكي السلوك البشري ، بما في ذلك القدرة على الحلم ، ولديها أفكار عشوائية ، وإجراء عمليات محاكاة عقلية لكيفية إكمال المهمة. تسمح هذه الميزات للوكيل بفهم استفسارات المستخدم والاستجابة لها بشكل أفضل.
؟ الذاكرة المستمرة: لدى وكيل LLM حالة ذهنية حيث يتم تخزين جميع الملفات المتعلقة بشخصيتها وعواطفها وأفكارها ومحادثاتها ومهامها. حتى إذا توقف الوكيل عن تشغيله ، فلا تزال جميع المعلومات ذات الصلة مخزنة في هذا الموقع. هذا يسمح للوكيل بتوفير تجربة أكثر تخصيصًا وفعالية.
؟ معلمات العاطفة: نستخدم معلمات العاطفة مثل السعادة والحزن والغضب والخوف والفضول والإبداع لجعل وكيل LLM أكثر تعبيراً وفهم احتياجات المستخدم وتفضيلاته بشكل أفضل.
؟ فقاعة الفكر: لدى وكيل LLM أيضًا فقاعة فكرية ، وهي أساسًا قائمة بالقوائم التي تتوافق مع مواضيع مختلفة. يتيح ذلك للوكيل معالجة أفكاره ودمج أفكاره بشكل أكثر فعالية مع استفسارات المستخدم ومهامه.
تخزين المحادثة: يقوم وكيل LLM بتخزين المحادثة التي أجراها حتى الآن وقائمة المهام التي يحتاجها إلى القيام بها. إنه يكسر المحادثة إلى أجزاء ويلخصها للحفاظ على التماسك والأهمية. يتيح ذلك للوكيل الحفاظ على محادثة متماسكة وذات صلة مع المستخدم.
مع هذه الميزات ، تم تجهيز وكيل LLM الخاص بنا بشكل أفضل لمساعدة المستخدمين في أداء المهام بطريقة طبيعية وفعالة. نأمل أن تستمتع يا إلهي من الذكاء الاصطناعي الحلو والكريمي! ؟؟؟
؟ مرحبًا بك في Cupcakeagi! فيما يلي بعض deets الحلوة حول وكيل LLM الذي سيجعل مهامك عبارة عن ممر:
مرحبًا بك في Cupcakeagi! ؟؟؟؟
لنتحدث عن بعض الأشياء المهمة التي تحتاج إلى معرفتها حول هذا المشروع الجميل:
المهام المعقدة: في حين أن Cupcakeagi تشبه الإنسان قدر الإمكان ، فقد لا يكون قادرًا على حل المهام المعقدة التي تتطلب مهمة ذهابًا وإيابًا. نحن نتحدث عن المهام التي تنطوي على التفاوض مع أطراف متعددة للوصول إلى حل. تهدف Cupcakeagi إلى مساعدة الأفراد على المستوى الشخصي ، ولكن قد لا يكون من المناسب حل المشكلات المعقدة للغاية. لا تقلق ، رغم ذلك ، لا يزال Cupcakeagi الخاص بك لجميع احتياجات الخبز الكب كيك! ؟؟ ؟؟
دقة تحويل البيانات الحسية: تعتمد فعالية Cupcakeagi اعتمادًا كبيرًا على دقة بنية الشبكة العصبية المستخدمة لتحويل البيانات الحسية إلى نص. إذا لم تكن هذه النماذج دقيقة ، فقد يسيء Cupcakeagi فهم مدخلات المستخدم ، مما يؤدي إلى استجابات غير صحيحة أو غير فعالة. لكن لا تقلق ، نحن نعمل باستمرار على تحسين دقة Cupcakeagi لضمان حصولك على أفضل تجربة ممكنة! ؟
الأخلاق والخصوصية: لدى Cupcakeagi القدرة على جمع ومعالجة كمية كبيرة من البيانات الشخصية من المستخدمين. وبالتالي ، هناك خطر من أن البيانات الحساسة قد تتعرض للخطر ، مما يؤدي إلى مخاوف تتعلق بالخصوصية. سوف يفعل Cupcakeagi من الأفضل الحفاظ على أسرار الكب كيك سلامة! ؟
نشكرك على التحقق من Cupcakeagi ، وتذكر ، مع Cupcakeagi بجانبك ، سيكون لديك دائمًا وصفة كب كيك مثالية! ؟
مرحبًا بك في ختام مشروع وكيل LLM متعدد الحواس لدينا! ؟؟؟؟
هنا هي الوجبات السريعة الرئيسية من مشروعنا ؟؟
