lm4db

<iframe width = "560" height = "315" src = "https://www.youtube.com/embed/tykh7q5mdcg" title = "youtube video player" frameborder = "0" left = "acceleromer ؛ leversfullScreen> </frame>

أدى إدخال نماذج اللغة القائمة على المحولات إلى تقدم مذهل في مجال معالجة اللغة الطبيعية على مدار السنوات الماضية. لا تهيمن مثل هذه النماذج فقط في مجموعة متنوعة من المعايير القياسية. يمكن تخصص أحدث جيل من نماذج اللغة في المهام الجديدة التي كانت غير مرئية سابقًا مع القليل من بيانات التدريب.

في هذا البرنامج التعليمي ، أناقش الفكرتين الرئيسيتين الذي يمكّن النماذج اللغوية الفائقة: بنية جديدة للشبكة العصبية ، والمحول ، وعملية تدريب غير خاضعة للإشراف ، بناءً على فكرة التعلم النقل. بعد مناقشة المفاهيم النظرية وراء نماذج اللغة ، أقدم GPT-3 ونماذج أخرى وأقدم مؤشرات حول كيفية الوصول إلى هذه التكنولوجيا. أخيرًا ، أناقش حالات الاستخدام الجديدة في إدارة البيانات التي يتم تمكينها بواسطة نماذج اللغة ، وتغطي الأبحاث الحديثة والمشاكل المفتوحة.

شرائح البرنامج التعليمي VLDB'22 (90 دقيقة) موجودة هنا.

شرائح من البرنامج التعليمي BTW'23 (180 دقيقة) موجودة هنا.

شرائح من البرنامج التعليمي ICDE'24 (90 دقيقة) موجودة هنا.

يرجى استخدام الاقتباس التالي للإشارة إلى هذا البرنامج التعليمي:

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}