AliceMind
v1.0
يوفر هذا المستودع نماذج ترميز التشفير المدربين مسبقًا وتقنيات التحسين ذات الصلة التي طورتها مختبر Mind (Machine Intelligence of Damo).
عائلة أليسيميند:
CVPR 2024 )EMNLP 2023 )ICML 2023 )EMNLP 2022 )Under Review )NAACL 2021 )ACL 2021 )CVPR 2020 VQA Challenge Runner-up )ACL 2021 )EMNLP 2020 )ICLR 2020 )IJCAI 2022 )EMNLP 2021 )AAAI 2022 ) Mplug-Powl (27 أبريل 2023): نموذج تدريب جديد مع تصميم معياري لنماذج اللغة الكبيرة متعددة الوسائط. يتعلم المعرفة البصرية مع دعم محادثة متعددة المنعطفات التي تتكون من طرائق مختلفة. القدرات المرصودة مثل الارتباط متعدد الصور وفهم نص المشهد ، فهم المستند القائم على الرؤية. حرر مجموعة تقييم التعليمات المرتبطة بصريًا Owleval. Mplug-Powl: Modularization يمكّن نماذج اللغة الكبيرة ذات الوسائط المتعددة
Chatplug (16 أبريل 2023): نظام حوار صيني مفتوح للمجال المفتوح للتطبيقات البشرية الرقمية التي تعلم FinoTuns على مجموعة واسعة من مهام الحوار بتنسيق موحد للإنترنت. تختلف عن نماذج الحوار المفتوحة الأخرى التي تركز على حجم النموذج أو مجموعة الحوار على نطاق واسع أو تحجيمها ، ونحن نهدف إلى بناء نظام حوار قوي وعملي للإنسان الرقمي مع مهارات متنوعة وتعميم متعدد المهام من خلال ضبط التعليمات المقدمة عبر الإنترنت. chatplug: نظام الحوار التوليدي للمجال المفتوح مع ضبط تعليمات من أجل الإنترنت للإنسان الرقمي
Mplug (1 سبتمبر ، 2022): نموذج واسع النطاق مسبقًا لفهم وتوليد لغة الرؤية. يتم تدريب MPlug من طرف إلى طرف على أزواج نصية على نطاق واسع مع كل من الأهداف التمييزية والتوليدية. إنه يحقق نتائج أحدث على أحدث ما يتعلق بمجموعة واسعة من مهام المصب ذات اللغة ، بما في ذلك تصوير الصور واسترداد نص الصور والأساس البصري والإجابة على أسئلة بصرية. MPLUG: التعلم الفعال متعدد الوسائط عن طريق الاتصالات عبر الوسائط ( EMNLP 2022 )
قابس (1 سبتمبر ، 2022): نموذج صيني على نطاق واسع تم تدريبه قبل الفهم والتوليد . القابس (27 ب) هو نموذج صيني ما قبل التدريب الصيني على نطاق واسع لفهم اللغة وتوليدها. تدريب المكونات هو مرحلتين ، المرحلة الأولى عبارة عن تشفير هيكلي من 24 طبقة ، والمرحلة الثانية عبارة عن مشفر من 24 إلى 6 طبقات.
SDCUP (6 سبتمبر ، 2021): نماذج مدربة مسبقًا لفهم الجدول . نقوم بتصميم هدف قبل التدريب على الاعتماد على المخطط لفرض التحيز الاستقرائي المطلوب في التمثيلات المستفادة للتدريب قبل الجدول. نقترح كذلك اتباع نهج تعلم منهج مخطط لتخفيف تأثير الضوضاء والتعلم بفعالية من بيانات ما قبل التدريب بطريقة سهلة الصلابة. توضح التجربة على Squall و Spider فعالية هدفنا ومناهجنا قبل التدريب مقارنة بمجموعة متنوعة من خطوط الأساس. "SDCUP: الاعتماد على المخطط المعزز التدريب قبل التدريب لجدول التحليل الدلالي" ( Under Review )
Latticebert (15 مارس ، 2021): نقترح نموذجًا جديدًا قبل التدريب للصينيين-الشبكة-التي تدمج صراحة تمثيلات الكلمات مع تلك الشخصية ، وبالتالي يمكن أن تصمم جملة بطريقة متعددة الحدود. "Lattice-Bert: الاستفادة من التمثيلات المتعددة الحصرية في نماذج اللغة الصينية قبل التدريب" ( NAACL 2021 )
structurallm (15 مارس 2021): نماذج مدربة مسبقًا لفهم صورة المستندات . نقترح نهجًا جديدًا قبل التدريب ، structurallm ، للاستفادة من المعلومات الخلوية والتخطيط المشترك من المستندات الممسوحة ضوئيًا. يحقق الهيكل المُدرّب مسبقًا نتائج جديدة على أحدث حالات في أنواع مختلفة من المهام المصب. "structurallm: التدريب الهيكلي المسبق لفهم الشكل" ( ACL 2021 )
Structvbert (15 مارس 2021): نماذج تدريب مسبقًا لفهم لغة الرؤية . نقترح مخططًا جديدًا للتدريب المرئي اللغوي من خلال الاستفادة من التدريب قبل التدريب التدريجي متعدد المراحل والتعلم متعدد المهام. حصل Structvbert على جائزة VQA Challenning Up لعام 2020 ، ونتائج SOTA على معايير الاختبار العامة VQA 2020 (يونيو 2020). "شرائح الحديث" ( CVPR 2020 VQA Challenge Runner-up ).
VECO V0 (15 مارس ، 2021): نماذج مدربة مسبقًا لفهم اللغة الطبيعية عبر اللغات (X) والجيل (X-NLG) . يحقق VECO (V0) نتائج SOTA الجديدة على مختلف مهام التفاهم عبر اللغات لمعيار XTREME ، وتغطي تصنيف النص ، ووضع تسلسل ، والإجابة على الأسئلة ، واسترجاع الجملة. بالنسبة لمهام التوليد عبر اللغات ، فإنه يتفوق أيضًا على جميع النماذج المتقاطعة المتقاطعة ومتغيرات المحولات الحديثة على مجموعات بيانات الترجمة الإنجليزية إلى الألمانية والإنجليزية ، مع مكاسب تصل إلى 1 ~ 2 bleu. "VECO: متغير الترميز-ترميز ما قبل التدريب من أجل الفهم والتوليد عبر اللغات" ( ACL 2021 )
Palm (15 مارس ، 2021): نماذج تدرب مسبقًا لتوليد اللغة الطبيعية (NLG) . نقترح مخططًا جديدًا يدرب بشكل مشترك نموذجًا لغة ترميز تلقائيًا ونموذجًا للانحدار التلقائي على مجموعة كبيرة غير مسماة ، مصمم خصيصًا لإنشاء نص جديد مشروط بالسياق. يحقق نتائج جديدة من SOTA في العديد من المهام المصب. "النخيل: قبل التدريب على نموذج لغة الترميز التلقائي والانحدار التلقائي للجيل المكيف للسياق" ( EMNLP 2020 )
Structbert (15 مارس ، 2021): نماذج مدربة مسبقًا لفهم اللغة الطبيعية (NLU) . نقوم بتمديد Bert إلى نموذج جديد ، structbert ، من خلال دمج هياكل اللغة في التدريب المسبق. على وجه التحديد ، نحن على structbert قبل التدريب مع مهمتين مساعدتين لتحقيق أقصى استفادة من الترتيب المتسلسل للكلمات والجمل ، والتي تستفيد من الهياكل اللغوية في مستويات الكلمة والجمل ، على التوالي. "structbert: دمج هياكل اللغة في التدريب المسبق لفهم اللغة العميقة" ( ICLR 2020 )
EMNLP 2021 ) التباين (17 ديسمبر 2021): يعد التقليم التباين (CAP) إطارًا عامًا تقليديًا في إطار نموذج ما قبل التدريب والضوء ، والذي يهدف إلى الحفاظ على كل من المعرفة الخاصة بالمهمة والتعرف على المهام أثناء التقليم. تم تصميم CAP كإطار عام ، متوافق مع كل من التقليم منظم وغير منظم. موحدة في التعلم على النقيض ، تشجع CAP النموذج المشذب على التعلم من النموذج الذي تم تدريبه مسبقًا ، واللقطات (النماذج المتوسطة أثناء التقليم) ، والنموذج الذي تم ضبطه ، على التوالي. "من كثيف إلى متناثر: تقليم متناقض لضغط نموذج اللغة قبل التدريب" ( AAAI 2022 )
PST (23 مايو ، 2022): التدريب المتناثر المعلمة (PST) هو تقليل عدد المعلمات القابلة للتدريب خلال التدريب المتفرق في مهام المصب. فهو يجمع بين المعايير الخالية من البيانات والمعتمد على البيانات لتقيس كفاءة ودقة أهمية الأوزان ، ويبحث في التكرار الجوهري لأهمية الوزن التي تعتمد على البيانات واشتقاق خصائصين واضحة على سبيل المثال ، منخفضة الرموز والهيكل ، مما يجعل التدريب المتفوق على موارد وفعالية معلمة. "تباين فعال في الكفاءة في النماذج اللغوية الكبيرة ، ( IJCAI 2022 )
موقع Alicemind الرسمي : https://nlp.aliyun.com/portal#/alice
منصة أليسيميند المفتوحة : https://alicemind.aliyuncs.com
يرجى إرسال مشكلة github إذا كنت تريد المساعدة أو لديك مشاكل باستخدام أليس.
لمزيد من المعلومات ، يمكنك الانضمام إلى AliceMind Users Group على DingTalk للاتصال بنا. عدد مجموعة dingtalk هو 35738533.
للاتصالات التجارية الأخرى ، يرجى الاتصال بـ [email protected]
يتم إصدار Alicemind بموجب ترخيص Apache 2.0.
Copyright 1999-2020 Alibaba Group Holding Ltd.
Licensed under the Apache License, Version 2.0 (the "License");
you may not use this file except in compliance with the License.
You may obtain a copy of the License at the following link.
http://www.apache.org/licenses/LICENSE-2.0
Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
