lm4db

<iframe width = "560" height = "315" src = "https://www.youtube.com/embed/tykh7q5mdcg" title = "youtube video player" frameborder = "0" Allow = "Accelerometer; Autoplay; буфлик-Write; encrypted-media; gyroscope; AlludfullLScreen> </iframe>

Внедрение языковых моделей, основанных на трансформаторах, привело к удивительным достижениям в области обработки естественного языка за последние годы. Мало того, что такие модели доминируют в различных стандартных тестах. Языковые модели последнего поколения могут быть специализированы на новых, ранее невидимых задачах с практически без данных обучения.

В этом уроке я обсуждаю две ключевые идеи, позволяющие сверхуровне языковой модели: новая архитектура нейронной сети, трансформатор и неконтролируемый процесс обучения, основанный на идее обучения передачи. После обсуждения теоретических концепций, лежащих в основе языковых моделей, я демонстрирую GPT-3 и другие модели и даю указатели о том, как получить доступ к этой технологии. Наконец, я обсуждаю новые варианты использования в управлении данными, которые включены языковыми моделями, охватывающими недавние исследования и открытые проблемы.

Слайды учебника VLDB'22 (90 минут) здесь.

Слайды учебника 23 (180 минут) находятся здесь.

Слайды учебника ICDE'24 (90 минут) здесь.

Пожалуйста, используйте следующую цитату, чтобы обратиться к этому уроку:

 @article{Trummer2022e,
author = {Trummer, Immanuel},
doi = {10.14778/3554821.3554896},
journal = {PVLDB},
number = {12},
pages = {3770 -- 3773},
title = {From BERT to GPT-3 Codex: Harnessing the Potential of Very Large Language Models for Data Management},
volume = {15},
year = {2022}
}