lm4db

<iframe width = "560" tinggi = "315" src = "https://www.youtube.com/embed/tykh7q5mdcg" title = "pemutar video youtube" frameborder = "0" memungkinkan = "Accelerometer; autoplay; clipboard-write; encrypt-mediia; picu-in-pion; clipboard-write; encrypt-mediia; pici-in-pion; clipboard-write; encrypt-mediia; encrypt-mediia; gicrospope; clipboard-write; encrypt-mediia; encrypt-mediia-media SoftFullScreen> </iframe>

Pengenalan model bahasa berbasis transformator telah menyebabkan kemajuan yang menakjubkan dalam domain pemrosesan bahasa alami selama beberapa tahun terakhir. Model seperti itu tidak hanya mendominasi dalam berbagai tolok ukur standar. Generasi model bahasa terbaru dapat dikhususkan untuk novel, yang sebelumnya tidak terlihat dengan tugas -tugas dengan sedikit hingga hampir tanpa data pelatihan.

Dalam tutorial ini, saya membahas dua ide utama yang memungkinkan model bahasa ultra-besar: arsitektur jaringan saraf baru, transformator, dan proses pelatihan tanpa pengawasan, berdasarkan gagasan pembelajaran transfer. Setelah membahas konsep teoritis di balik model bahasa, saya mendemonstrasikan GPT-3 dan model lain dan memberikan petunjuk tentang cara mendapatkan akses ke teknologi ini. Akhirnya, saya membahas kasus penggunaan baru dalam manajemen data yang diaktifkan oleh model bahasa, mencakup penelitian terbaru dan masalah terbuka.

Slide dari tutorial VLDB'22 (90 menit) ada di sini.

Slide dari tutorial BTW'23 (180 menit) ada di sini.

Slide dari tutorial ICDE'24 (90 menit) ada di sini.

Silakan gunakan kutipan berikut untuk merujuk pada tutorial ini:

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}