dliss tutorial

dliss-tutorial

国际深度学习教程，2019年在波兰的格丹克

部分

概述谈话

https://docs.google.com/presentation/d/1dji1yx4u5igapgwavt0amoclwwso7ou1un93smuawma/

教程

本教程目前有3个动手分段。

• 第一部分涵盖了预训练的单词嵌入（COLAB）

• 第二部分涵盖了预先训练的上下文公开（COLAB）

• 第三部分涵盖了预先训练模型（COLAB）的微调

更新

• 2022年4月，如果您有兴趣学习如何从头开始构建不同的变压器架构，那么我将有一套新的教程，并具有深入的详细信息以及几种流行变压器模型的完整实现。他们展示了如何逐步构建模型，如何预处理它们以及如何将其用于下游任务。有一个随附的python套件，其中包含所有的教程

• 2020年7月，我使用米德（Mead）发布了一套COLAB教程，这些教程在这些教程中介绍。这套新的笔记本电脑涵盖了类似的材料，包括用于分类和标记器的转移学习，以及使用带有TPU的Mead API从头开始训练基于变压器的模型。 Mead使使用简单的YAML配置可以轻松训练许多强大的NLP模型，并可以轻松地使用新型号扩展代码，同时与强大的基线进行比较！