lm4db

<iframe width = "560" ความสูง = "315" src = "https://www.youtube.com/embed/tykh7q5mdcg" title = "YouTube Video Player" FrameBorder = "0" อนุญาตให้ใช้งาน

การแนะนำแบบจำลองภาษาที่ใช้หม้อแปลงได้นำไปสู่ความก้าวหน้าที่น่าอัศจรรย์ในโดเมนของการประมวลผลภาษาธรรมชาติในช่วงหลายปีที่ผ่านมา โมเดลดังกล่าวไม่เพียง แต่มีอิทธิพลต่อเกณฑ์มาตรฐานมาตรฐานที่หลากหลาย รูปแบบภาษารุ่นล่าสุดสามารถมีความเชี่ยวชาญสำหรับนวนิยายเดิมเคยเป็นงานที่มองไม่เห็นโดยไม่ค่อยมีข้อมูลการฝึกอบรมเพียงเล็กน้อย

ในบทช่วยสอนนี้ฉันพูดถึงแนวคิดสำคัญสองประการที่เปิดใช้งานแบบจำลองภาษาที่มีขนาดใหญ่เป็นพิเศษ: สถาปัตยกรรมเครือข่ายประสาทใหม่หม้อแปลงและกระบวนการฝึกอบรมที่ไม่ได้รับการดูแลโดยยึดตามแนวคิดของการเรียนรู้การถ่ายโอน หลังจากพูดคุยเกี่ยวกับแนวคิดเชิงทฤษฎีที่อยู่เบื้องหลังแบบจำลองภาษาฉันแสดงให้เห็นถึง GPT-3 และโมเดลอื่น ๆ และให้คำแนะนำเกี่ยวกับวิธีการเข้าถึงเทคโนโลยีนี้ ในที่สุดฉันจะหารือเกี่ยวกับกรณีการใช้งานใหม่ในการจัดการข้อมูลที่เปิดใช้งานโดยแบบจำลองภาษาครอบคลุมการวิจัยล่าสุดและปัญหาเปิด

สไลด์ของการสอน VLDB'22 (90 นาที) อยู่ที่นี่

สไลด์ของบทช่วยสอน BTW'23 (180 นาที) อยู่ที่นี่

สไลด์ของบทช่วยสอน ICDE'24 (90 นาที) อยู่ที่นี่

โปรดใช้การอ้างอิงต่อไปนี้เพื่ออ้างถึงบทช่วยสอนนี้:

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}