lm4db

<iframe width =“ 560” height =“ 315” src =“ https://www.youtube.com/embed/tykh7q5mdcg” title =“ youtube视频播放器” frameborder =“ 0”倍=“ 0”允许=“ ACCELERETOR; ACPELERETOR; ASPOPLAIME; AUPOPLAIME; AUPOPLAY; autoplay; autopliet; Clipboard-write; clipboard-write; exprypted-media; exprypted-media; allowfullscreen> </iframe>

在过去几年中，基于变压器的语言模型引入了自然语言处理领域的惊人进步。这些模型不仅在各种标准基准中占主导地位。最新一代的语言模型可以专门针对新颖的，以前看不见的任务，几乎没有培训数据。

在本教程中，我讨论了实现超大语言模型的两个关键思想：新的神经网络体系结构，变压器和无监督的培训过程，基于转移学习的想法。在讨论了语言模型背后的理论概念之后，我演示了GPT-3和其他模型，并提供有关如何访问该技术的指示。最后，我讨论了通过语言模型启用数据管理中的新颖用例，涵盖了最近的研究和开放问题。

VLDB'22教程（90分钟）的幻灯片在这里。

BTW'23教程（180分钟）的幻灯片在这里。

ICDE'24教程（90分钟）的幻灯片在这里。

请使用以下引用参考本教程：

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}