تتناول هذه المقالة التقرير المرحلي لمعهد Zhiyuan للأبحاث لعام 2024 الصادر عن Wang Zhongyuan، مدير معهد Zhiyuan للأبحاث، في مؤتمر Zhiyuan السادس في بكين، مع التركيز على دلو عائلة Zhiyuan النموذجية الكبيرة. يعرض التقرير أحدث نتائج الأبحاث التي أجراها معهد أبحاث المصادر الذكية في مجالات اللغة والنماذج المتعددة والتجسيد والحوسبة البيولوجية والنماذج الكبيرة، بالإضافة إلى ترقية وتخطيط قاعدته التكنولوجية مفتوحة المصدر. سيقوم محرر Downcodes بتفسير محتوى التقرير بالتفصيل، لا سيما تكوين مجموعة نماذج Zhiyuan الكبيرة وتقنيتها الأساسية.
في 14 يونيو، انعقد "مؤتمر بكين السادس للحكمة" الذي استضافه معهد أبحاث الحكمة في مركز تشونغ قوان تسون للمعارض. خلال هذا الاجتماع، قدم وانغ تشونغ يوان، رئيس معهد أبحاث تشي يوان، تقريرًا مرحليًا عن معهد أبحاث تشي يوان في عام 2024، وركز على مجموعة نماذج عائلة تشي يوان الكبيرة.
في التقرير المرحلي لمعهد Zhiyuan للأبحاث لعام 2024، شارك معهد Zhiyuan للأبحاث التقدم المحرز في الاستكشاف والبحث في اللغة والوسائط المتعددة والتجسيد والنماذج الكبيرة للحوسبة البيولوجية، بالإضافة إلى الترقية والتطوير التكراري للنموذج الكبير المفتوح بالكامل. تخطيط قاعدة التكنولوجيا المصدر للإقليم. وفقًا لمعهد تشي يوان للأبحاث، فإن تطوير نماذج لغوية كبيرة في هذه المرحلة امتلك بالفعل قدرات الفهم والاستدلال الأساسية للذكاء الاصطناعي العام، وشكل طريقًا تقنيًا يستخدم نماذج لغوية كبيرة باعتبارها جوهرًا لمواءمة ورسم خريطة للطرائق الأخرى. يحتوي النموذج على فهم أولي متعدد الوسائط وقدرات التوليد. لكن هذا ليس هو الطريق التقني النهائي للذكاء الاصطناعي لإدراك وفهم العالم المادي، بل يجب عليه بدلاً من ذلك اعتماد نموذج نموذجي موحد لتحقيق المدخلات والمخرجات متعددة الوسائط، بحيث يتمتع النموذج بقدرات توسعة أصلية متعددة الوسائط ويتطور. إلى نموذج عالمي.
"في المستقبل، سيتم دمج النماذج الكبيرة مع الأجهزة الذكية في شكل عوامل رقمية، وسوف تدخل العالم المادي من العالم الرقمي في شكل ذكاء مجسد. وفي الوقت نفسه، يمكن للوسائل التقنية للنماذج الكبيرة أن توفر وقال وانغ تشونغ يوان: "إن نموذجًا جديدًا للتعبير عن المعرفة للبحث العلمي وتسريع استكشاف الإنسانية والبحث عن قوانين العالم الفيزيائي الميكروفيزيائي يقترب باستمرار من الهدف النهائي للذكاء الاصطناعي العام".
يعد دلو عائلة Zhiyuan النموذجي الكبير من أبرز الأحداث في التقرير المرحلي لمعهد Zhiyuan للأبحاث لعام 2024. علم المراسل في الاجتماع أن مجموعة نماذج Zhiyuan الكبيرة تتكون من أربعة اتجاهات بحثية كبيرة للنماذج: سلسلة نماذج اللغة الكبيرة، وسلسلة النماذج الكبيرة متعددة الوسائط، والنموذج الكبير للذكاء المتجسد، والنموذج الكبير للحوسبة البيولوجية، بإجمالي 12 دراسة. بأخذ سلسلة النماذج الكبيرة للغة Zhiyuan كمثال، يتضمن هذا الاتجاه دراستين نموذجيتين كبيرتين، أول نموذج لغة تريليوني كثيف الجسم منخفض الكربون في العالم Tele-FLM-1T ونموذج ناقل اللغة العام BGE (BAAI General Embedding) .
"استجابة لمشكلة الاستهلاك العالي للطاقة الحاسوبية في تدريب النماذج الكبيرة، قام معهد أبحاث تشييوان ومعهد أبحاث الذكاء الاصطناعي الصيني للاتصالات (TeleAI) بتطوير وإطلاق أول تريليون مونومر كثيف منخفض الكربون في العالم استنادًا إلى التقنيات الرئيسية مثل نمو النماذج. "التنبؤ بالخسارة ونموذج اللغة Tele-FLM-1T يشكل هذا النموذج، جنبًا إلى جنب مع الإصدار 52B ذو المستوى 10 مليارات والإصدار 102B ذو المستوى 100 مليار، نموذج سلسلة Tele-FLM"، وهو الشخص المسؤول عن هذا النموذج. الأعمال ذات الصلة من نموذج سلسلة Tele-FLM للصحفيين. يُذكر أن نماذج سلسلة Tele-FLM حققت نموًا منخفض الكربون مع 9% فقط من موارد الطاقة الحاسوبية لنظام التدريب العادي في الصناعة، استنادًا إلى 112 خادم A800، وقد استغرق الأمر 4 أشهر لإكمال تدريب 3 نماذج. بإجمالي 2.3Ttokens، وتم تدريب 10,000 مليار نموذج كثيف Tele-FLM-1T بنجاح. "إن عملية تدريب النموذج بأكملها هي صفر تعديل ولا إعادة محاولة، مع كفاءة عالية في طاقة الحوسبة وتقارب جيد للنموذج واستقراره. في الوقت الحاضر، كان نموذج سلسلة TeleFLM مفتوح المصدر بالكامل في الإصدار 52B، مع التقنيات الأساسية (تقنية النمو، المعلمة الفائقة المثالية) التنبؤ)، تفاصيل التدريب (منحنى الخسارة، المعلمات الفائقة المثالية، نسبة البيانات وG radNorm، وما إلى ذلك) كلها مفتوحة المصدر ومن المأمول أن يكون لتقنية المصدر المفتوح تأثير مفيد على مجتمع النماذج الكبيرة، وسيكون إصدار Tele-FLM-1T مفتوح المصدر قريبًا قال الشخص المسؤول: "معلمة أولية ممتازة للمجتمع لتدريب تريليون نموذج كثيف وتجنب صعوبة التقارب في تدريب تريليون نموذج ومشكلات أخرى".
تعتمد سلسلة BGE من نماذج المتجهات الدلالية العالمية التي طورها معهد Zhiyuan للأبحاث بشكل مستقل على تقنية RAG المعززة للاسترجاع، والتي يمكنها تحقيق مطابقة دلالية دقيقة بين البيانات ودعم استدعاء المعرفة الخارجية في النماذج الكبيرة. "منذ أغسطس 2023، خضعت سلسلة نماذج BGE لثلاثة تكرارات، وحققت أفضل أداء في الصناعة في المهام الثلاث للاسترجاع الصينية والإنجليزية، والاسترجاع متعدد اللغات، والاسترجاع المكرر. قدراتها الشاملة أفضل بكثير من OpenAI، مماثلة نماذج من Google وMicrosoft وCohere ومؤسسات أخرى متاحة حاليًا للتنزيل. وهي تحتل المرتبة الأولى في نماذج الذكاء الاصطناعي المحلية وتم دمجها من خلال أطر تطوير الذكاء الاصطناعي السائدة عالميًا مثل HuggingFace وLangchain وLlamaIndex، بالإضافة إلى كبار مقدمي الخدمات السحابية مثل Tencent وHuawei وAlibaba وByte وMicrosoft وAmazon، وتوفر الخدمات التجارية للعالم الخارجي وقال الشخص المسؤول عن الأعمال التجارية ذات الصلة من سلسلة BGE نموذج ناقلات الدلالية.
بشكل عام، حقق معهد Zhiyuan للأبحاث تقدمًا كبيرًا في تعزيز تطوير تكنولوجيا النماذج الكبيرة، وستعمل "دلو عائلة النماذج الكبيرة" واستراتيجيته مفتوحة المصدر على تعزيز الابتكار والتطوير في مجال الذكاء الاصطناعي وتستحق الاهتمام المستمر. يتطلع محرر Downcodes إلى تحقيق المزيد من النتائج الرائعة في المستقبل.