dliss tutorial
1.0.0
Tutorial para a International Summer School on Deep Learning, 2019 em Gdansk, Polônia
https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwwso7ou1un93smuawma/
Atualmente, existem três seções práticas neste tutorial.
A primeira seção cobre incorporações de palavras pré-treinadas (colab)
A segunda seção abrange emeddings contextuais pré-treinados (colab)
A terceira seção cobre o ajuste fino de um modelo pré-treinado (colab)
Abril de 2022 Se você estiver interessado em aprender a criar diferentes arquiteturas de transformadores desde o início, tenho um novo conjunto de tutoriais com detalhes detalhados e implementações completas de vários modelos de transformadores populares. Eles mostram como criar modelos passo a passo, como pré -expressar e como usá -los para tarefas a jusante. Há um pacote Python que contém todas as peças tutoriais montadas
Julho de 2020, publiquei um conjunto de tutoriais do COLAB usando o Mead, que é mencionado nesses tutoriais. Este novo conjunto de notebooks abrange material semelhante, incluindo o aprendizado de transferência para classificação e taggers, bem como modelos de treinamento baseados em transformadores do Scratch usando a API Mead com TPUs. O Mead facilita treinar muitos modelos poderosos para a PNL usando uma configuração YAML simples e facilita a extensão do código com novos modelos enquanto compara com fortes linhas de base!
