lm4db

<iframe width =“ 560” height =“ 315” src =“ https://www.youtube.com/embed/tykh7q5mdcg” title =“ youtube視頻播放器” frameborder =“ 0”倍=“ 0”允許=“ ACCELERETOR; ACPELERETOR; ASPOPLAIME; AUPOPLAIME; AUPOPLAY; autoplay; autopliet; Clipboard-write; clipboard-write; exprypted-media; exprypted-media; allowfullscreen> </iframe>

在過去幾年中，基於變壓器的語言模型引入了自然語言處理領域的驚人進步。這些模型不僅在各種標準基準中占主導地位。最新一代的語言模型可以專門針對新穎的，以前看不見的任務，幾乎沒有培訓數據。

在本教程中，我討論了實現超大語言模型的兩個關鍵思想：新的神經網絡體系結構，變壓器和無監督的培訓過程，基於轉移學習的想法。在討論了語言模型背後的理論概念之後，我演示了GPT-3和其他模型，並提供有關如何訪問該技術的指示。最後，我討論了通過語言模型啟用數據管理中的新穎用例，涵蓋了最近的研究和開放問題。

VLDB'22教程（90分鐘）的幻燈片在這裡。

BTW'23教程（180分鐘）的幻燈片在這裡。

ICDE'24教程（90分鐘）的幻燈片在這裡。

請使用以下引用參考本教程：

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}