في الآونة الأخيرة ، أصدر فريق Sky Computing Lab في جامعة كاليفورنيا ، Perkeley Sky-T1-32B-Preview ، وهو نموذج ذكاء مصطنع مفتوح المصدر يمثل تطوير AI للاستدلال أسهل وأرخص. كان أداء النموذج جيدًا في معايير رئيسية متعددة ، حتى مماثلة للإصدارات السابقة من إصدارات Openai من O1.
تكاليف تدريب Sky-T1 رائعة ، بسعر 450 دولارًا فقط ، مما يعني أن تكرار إمكانات التفكير عالية المستوى أصبح أكثر تكلفة وكفاءة. على الرغم من أن الرسوم البالغة 450 دولارًا قد لا تبدو منخفضة ، إلا أنها انخفاض كبير مقارنة بتكلفة التدريب التي تكلف مئات الملايين من الدولارات قبل بضع سنوات. بمساعدة بيانات التدريب الاصطناعية ، أي بيانات التدريب التي تم إنشاؤها بواسطة نماذج أخرى ، يتم تقليل التكلفة بشكل كبير. أصدرت شركة AI Company Conster مؤخرًا The Palmyra X004 ، والتي تعتمد بالكامل تقريبًا على البيانات الاصطناعية ، وتكون تكلفة التطوير 700،000 دولار فقط.
على عكس معظم AIS ، فإن نماذج الاستدلال قادرة على فحص الذات بشكل فعال ، مما يجعلها أكثر موثوقية عند التعامل مع بعض المشكلات الشائعة. عادة ما تستغرق نماذج الاستدلال وقتًا أطول عند استخلاص الحلول ، والتي قد تستغرق ثوانٍ إلى دقائق ، ولكن في مجالات مثل الفيزياء والعلوم والرياضيات ، تكون مزايا الموثوقية مهمة.
استخدم فريق Novasky نموذجًا آخر-QWQ-32B-Preview من Alibaba لإنشاء بيانات Sky-T1 و "المخطط" المزيد من التنسيق التشغيلي. لا يستغرق تدريب Sky-T1 سوى حوالي 19 ساعة فقط مع 3.2 مليار معلمة ، باستخدام مجموعة من 8 NVIDIA H100GPUS. يرتبط عدد المعلمات تقريبًا بقدرة حل المشكلات للنموذج.
وفقًا لفريق Novasky ، تفوقت Sky-T1 على نسخة المعاينة المبكرة من O1 على مجموعة Math500 من التحديات الرياضية "على مستوى المنافسة". بالإضافة إلى ذلك ، واجه Sky-T1 المزيد من الصعوبات في LiveCodeBench من إصدار معاينة O1. ومع ذلك ، كان أداء Sky-T1 أسوأ من معاينة O1 في اختبارات GPQA-Diamond عندما يتعلق الأمر بالمشكلات التي تنطوي على الفيزياء والبيولوجيا والكيمياء.
تجدر الإشارة إلى أن إصدار Openai's GA O1 أقوى من إصدار المعاينة ، ومن المتوقع أن يصدر Openai نموذجًا أفضل للاستدلال O3 في الأسابيع القليلة المقبلة. ومع ذلك ، قال فريق Novasky أن Sky-T1 هو مجرد بداية رحلتهم لتطوير نموذج مفتوح المصدر مع قدرات التفكير المتقدمة.
وكتب الفريق في مدونة: "نتطلع إلى الأمام ، سوف نركز على تطوير نماذج أكثر كفاءة للحفاظ على أداء الاستدلال القوي واستكشاف التقنيات المتقدمة التي تعزز كفاءة النموذج والدقة". "ترقبوا تقدمنا في هذه المشاريع المثيرة."