treehacks2024
1.0.0
مشروع Treehacks 2024. انتقل لأسفل للحصول على التفاصيل. 
| قسم | وصف |
|---|---|
| تطبيق OS Vision | تعليمات لتنزيل واستخراج ملف VisionMama.zip لتطبيق OS Vision. |
| خط أنابيب وكيل AI لتوليد الوصفات ، والبحث عن الطعام ، وترتيب Instacart | تفاصيل على خط الأنابيب من طلب طعام المستخدم لإنشاء وصفة ، وتحديد المكونات ، وإيجاد مواقع الشراء ، وإنشاء أمر instacart. يستخدم MISTRAL-7B LLM ، GPT-4-TURBO ، API SERP ، وخوارزمية تصنيف متطورة. |
| قبل التدريب | معلومات عن إعداد مجموعة البيانات ، وعملية التدريب المسبقة ، وصنع القرار فيما يتعلق باستخدام نموذج MISTRAL-7B الذي تم ضبطه. |
| الكون المثالى | يصف Lora الضبط الدقيق لـ MISTRAL-7B مع وجود 250 ألف وصفات ، وإعدادات مستخدمة ، وتأثير حجم مجموعة البيانات على الأداء. |
| عامل دردشة الويب Reflex.Dev | باستخدام Reflex.dev لإنشاء واجهة دردشة للتفاعل مع عامل الذكاء الاصطناعي ، بما في ذلك مشغلات توليد الوصفات وتحديد المكونات. |
| قاعدة بيانات ناقلات intersystems IRIS لاكتشاف الوصفة الدلالية | استخدام قاعدة بيانات ناقلات IRIS لتضمينات الوصفة والبحث الدلالي بناءً على مدخلات المستخدم "Vibe". |
في ملف VisionMama.zip ، يرجى تنزيل هذا واستخراجه
لقد قمنا ببناء نقطة النهاية التي وصلنا إليها من Vision Pro وموقعنا المنعكس. في الأساس ما يحدث هو تقديم الطعام المطلوب للمستخدم مثل "حساء الموز". نمرر ذلك إلى MISTRAL-7B LLM المضبوطة لإنشاء وصفة. ثم ، نستخدم بسرعة GPT-4-Turbo لتحليل الوصفة واستخراج المكونات. ثم نستخدم واجهة برمجة تطبيقات SERP على كل عنصر للعثور على المكان الذي يمكن شراؤه في مكان قريب. نعطي الأولوية للمكونات الأرخص ونستخدم خوارزمية لمحاولة زيارة أقل عدد من المتاجر لشراء جميع المكونات. أخيرًا ، نقوم بملء مكالمة API Order Order لشراء المكونات (المحاكاة في الوقت الحالي نظرًا لأننا لا نملك شريكًا فعليًا وصولًا إلى API في Instacart)
لقد وجدنا مجموعة بيانات عبر الإنترنت من 250،000 وصفة. قمنا بتعزيزهم مسبقًا ونقسمهم ورمزهم للتدرب. استخدمنا زوج بايت GPT2 ترميز الرمز المميز. لقد قمنا بتدريب المعلمة البالغة 40 مترًا LLM باستخدام تطبيق Nanogpt المعدل ، لم يكن لدينا وقت لمعرفة كيفية نشر LLM ، لذلك ذهبنا مع نموذج MISTRAL-7B الذي تم ضبطه (والذي كان أداءً أفضل أيضًا). مزيد من التفاصيل حول devpost لدينا.
لقد قمت بضبط MISTRAL-7B في Lora باستخدام منصة Monsterapi عبر الإنترنت: Monsterapi.ai. (شكرًا للفريق على إعطائنا اعتمادات مجانية!) الإعدادات: عصر واحد ، Lora R = 8 ، Lora alpha = 16 ، التسرب = 0 ، التحيز = لا شيء ، خطوات تراكم التدرج = 32 ، LR = 0.0002 ، خطوات الاحماء = 100
قبل الضبط الدقيق ، قمنا بإعداد 250 كيلو وصفة حصلنا عليها من الإنترنت إلى تنسيق قياسي باستخدام هذا البرنامج النصي: LimitedEcipesForFinetuning.py التنسيق هو: أنت طاهي خبير. أنت تعرف عن الكثير من المأكولات المتنوعة. تكتب وصفات لذيذة مفيدة.
قمنا أيضًا بتخفيض جميع المطالبات والإكمال. لقد جربنا ضبطًا دقيقًا باستخدام وصفات 10K و 50K و 250K. لاحظنا أن استخدام المزيد من البيانات أدى إلى انخفاض فقدان ، ولكن عند تناقص العائدات. قمنا بنشر MISTRAL-7B (250 ألف أمثلة) باستخدام Monsterapi.ai يوضح البرنامج النصي monstral7b-monsterapi.
استخدمنا Reflex.dev ، الذي يشبه React ولكن بالكامل في Python ، لإنشاء واجهة دردشة بسيطة للتفاعل مع وكيلنا ، لأن معظم الناس ليس لديهم رؤية Pro. نقوم بتشغيل GPT-3.5-TURBO والتي تم تصميمها بشكل موجه لتوفير معلومات غذائية للمستخدم إذا طرحوا سؤالًا. ومع ذلك ، إذا بدأ المستخدم رسالة الدردشة الخاصة بهم بـ "Get Me" ثم طعامًا وهميًا ، فإنه يؤدي إلى خط أنابيب وكيل AI الذي يطلق على Mistral-7B المضبوطة لدينا لإنشاء وصفة ، و GPT-4-Turbo لمعالجة المكونات والاستخراج من الصلصة من الصلصة ، ومن ثم ، فإن Google Search عبر API serp و sritipensive multipensive algoritm minister to the best the compisting the the the the best stups ، وأخيراً يملأ مكالمات API Order Order . استضفناها على Reflex.dev التي كانت سهلة. لقد فعلنا فقط انعكاس ونشر في متغير ENV الخاص بنا من المحطة! شكرا لك على رد الفعل.
استخدمنا إصدار الوصول المبكر لقاعدة بيانات Vector IRIS ، وتشغيله على جهاز Mac مع Docker. قمنا بتضمين 10،000 وصفات فريدة من المأكولات المتنوعة باستخدام تضمين Text-ADA-002 من Openai. قمنا بتخزين التضمينات والوصفات في قاعدة بيانات متجه IRIS. بعد ذلك ، سمحنا للمستخدم بإدخال "Vibe" ، مثل "يوم الشتاء الممطر البارد". نستخدم MISTRAL-7B لإنشاء ثلاثة مطالبات تضمين المستندات الافتراضية (HYDE) بتنسيق منظم. ثم نقوم بالاستعلام عن IRIS DB باستخدام المطالبات الثلاثة التي تم إنشاؤها بواسطة MISTRAL. المفتاح هنا هو أن البحث الدلالي العادي لا يتيح لك البحث عن طريق VIBE بشكل فعال. إذا قمت بالبحث الدلالي في "يوم الشتاء البارد" ، فمن الأرجح أن يمنحك نتائج مرتبطة بالبرد أو المطر ، بدلاً من الأطعمة. يشجع مطالبتنا Mistral على فهم أجواء مدخلاتك وتحويلها إلى مطالبات Hyde بشكل أفضل. مثال حقيقي: إدخال المستخدم: شيء لاستفسارات البحث التي تم إنشاؤها في يوم الشتاء الذي تم إنشاؤه: {'Queries': ['Warring Winter Dishes وصفات "،" وصفات طعام مريحة للأيام الباردة "،" الحساء الشهير والحساء في الطقس البارد "]}}
