نشرت Flood Sung ، الباحث على الجانب المظلم من القمر ، مؤخرًا مقالًا طويلًا مكون من 10000 كلمة ، كشفت عن أفكار البحث والتطوير لنموذج K1.5 لأول مرة وينعكس بشدة على الآثار التقنية التي ألقاها Openai's O1 نموذج. لا يكشف هذا الإفصاح عن أحدث التقدم في الجانب المظلم من القمر في مجال الذكاء الاصطناعي ، بل يوفر أيضًا للصناعة مرجعًا فنيًا قيمة.
ذكرت Flood Sung في المقالة أن أهمية الطول الطويل (التفكير الطويل في السلسلة) تم التحقق منها بالفعل من قبل تيم تشو Xinyu ، المؤسس المشارك للجانب المظلم من القمر منذ أكثر من عام. باستخدام نماذج صغيرة لتدريب العمليات متعددة الأرقام وتحويل عمليات الحوسبة ذات الحبيبات الدقيقة إلى بيانات تفكير طويلة السلسلة لـ SFT (التثبيت الخاضع للإشراف) ، حقق الفريق نتائج كبيرة. يوفر هذا الاكتشاف أساسًا نظريًا مهمًا لتحسين النموذج اللاحق.
ومع ذلك ، بسبب قيود التكلفة ، ركز الجانب المظلم من القمر سابقًا على تحسين السياق الطويل (إدخال النص الطويل). أوضحت Flood Sung أن السياق الطويل يعالج المدخلات بشكل أساسي ، ومن خلال تقنية مسبق مسبقًا وتكنولوجيا الكعك ، يمكن للفريق التحكم بشكل أفضل في التكاليف والسرعة. على النقيض من ذلك ، يركز الطائر الطويل أكثر على الإخراج ، وعلى الرغم من أنه مهم ، فإنه يتطلب تكاليف أعلى وأوقات معالجة أطول ، مما يحد من تطبيقه إلى حد ما.
ومع ذلك ، تسبب إطلاق نموذج Openai O1 لفريق Dark Side لإعادة التفكير في أولويات الاتجاه الفني. أكد Flood Sung: "الأداء هو أهم شيء ، وسيتم تحسين التكلفة والسرعة بشكل مستمر مع التقدم التكنولوجي. المفتاح هو تحقيق أداء اختراق أولاً." -البحث. يمثل هذا التعديل الاستراتيجي اختراقًا إضافيًا للفريق في مجال الذكاء الاصطناعي.
لا يمثل إصدار مقالة فك التشفير التقنية هذه فقط أن الجانب المظلم من القمر قد بدأ في تقييم نموذج O1 من Openai بشكل منهجي ، ولكنه يجري أيضًا بحثًا كبيرًا في الحقول ذات الصلة. توفر مقالة Flood Sung الطويلة للصناعة رؤى تقنية متعمقة وتوفر أفكارًا جديدة لاتجاهات البحث المستقبلية.
بالنسبة للقراء الذين يرغبون في الحصول على فهم متعمق لعملية التكسير لنموذج O1 ، يمكن الوصول إلى مقالة Flood Sung التي تبلغ مساحتها 10000 كلمة من خلال الرابط التالي: فك تشفير المادة الطويلة التي تبلغ مساحتها 10000 كلمة لعملية تكسير O1 .