lm4db

<iframe width = "560" height = "315" src = "https://www.youtube.com/embed/tykh7q5mdcg" "youtubeビデオプレーヤー"フレームボーダー= "0" Allowfullscreen> </iframe>

トランスベースの言語モデルの導入により、過去数年間の自然言語処理の領域が驚くべき進歩をもたらしました。このようなモデルは、さまざまな標準ベンチマークで支配的であるだけではありません。最新世代の言語モデルは、トレーニングデータがほとんどなく、ほとんど〜ほとんど目に見えなかったタスクに特化することができます。

このチュートリアルでは、超大型言語モデルを可能にする2つの重要なアイデアについて説明します。新しいニューラルネットワークアーキテクチャ、トランス、および監視されていないトレーニングプロセス、転送学習のアイデアに基づいています。言語モデルの背後にある理論的概念を議論した後、GPT-3およびその他のモデルを実証し、このテクノロジーにアクセスする方法についてのポインターを提供します。最後に、言語モデルによって有効になっているデータ管理における新しいユースケースについて説明し、最近の研究と未解決の問題をカバーします。

VLDB'22チュートリアル（90分）のスライドがここにあります。

btw'23チュートリアル（180分）のスライドがこちらです。

ICDE'24チュートリアル（90分）のスライドがこちらです。

次の引用を使用して、このチュートリアルを参照してください。

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}