transformers tutorials

Pytorch变形金刚教程

介绍

NLP领域在2018年通过引入Bert和他的变形金刚朋友（Roberta，XLM等）进行了革新。

这些基于变压器的新型神经网络体系结构和新方法来培训自然语言数据的神经网络，将转移学习引入了NLP问题。转移学习已经在计算机视觉域中提供了几年的最先进的结果，并且引入了NLP的变压器模型，带来了NLP的范式更改。

像Google和Facebook这样的公司在大量自然语言数据上训练了他们的神经网络，以掌握语言的复杂性，从而产生语言模型。最后，这些模型被微调到特定的域数据集，以实现特定问题陈述的最新结果。他们还向开源社区发布了这些训练有素的模型。社区成员现在能够将这些模型调整为特定用例。

拥抱的脸使社区更容易使用Python软件包：变形金刚访问和微调这些模型。

动机

尽管将这些解决方案应用于业务问题的这些惊人的技术进步仍然是一个挑战，因为要理解并将这些方法应用于特定问题陈述所需的利基知识。因此，在以下教程中，我将演示用户如何利用技术以及其他一些Python工具将这些语言模型调整为特定的任务类型。

在继续之前，我想提及以下奇妙的工作和共享的小组，这使这些笔记本和教程成为可能：

请查看这些惊人的信息来源并订阅其渠道/来源。

• 拥抱的脸队
• Abhishek Thakur的YouTube视频很棒

我将使用的问题陈述是：

笔记本	github链接	COLAB链接	Kaggle内核
文本分类：多类	github		Kaggle
文本分类：多标签	github		Kaggle
通过Wandb中的实验跟踪的情感分类！	github
命名实体识别：带有TPU处理！	github		Kaggle
问题回答
摘要写作： wandb中的实验跟踪！	github		Kaggle

目录结构

1. data ：此文件夹包含用于微调的所有玩具数据。
2. utils ：此文件夹将包含用于准备微调的任何其他脚本。
3. models ：保存所有工件后的文件夹。

进一步观看/阅读

我将尝试涵盖这些语言模型在各种NLP任务上进行微调的实践和实现方面。您可以通过阅读/观看以下资源来提高有关此主题的知识。

• 看

  • 简单介绍
  • NLP的转移学习
  • Chrismccormickai的Bert研究系列

• 阅读

  • 变形金刚文档
  • Pytorch文档
  • Google AI博客