transformers tutorials

Tutoriais de Pytorch Transformers

Introdução

O campo da PNL foi revolucionado no ano de 2018 pela introdução de Bert e seus amigos transformadores (Roberta, XLM etc.).

Essas novas arquiteturas de rede neural baseadas em transformador e novas maneiras de treinar uma rede neural em dados de idiomas naturais introduziram o aprendizado de transferência para problemas de PNL. A aprendizagem de transferência estava dando resultados de última geração no domínio da visão computacional há alguns anos e a introdução de modelos de transformadores para a PNL provocou a mesma mudança de paradigma na PNL.

Empresas como o Google e o Facebook treinaram suas redes neurais em grandes faixas de dados de linguagem natural para entender os meandros da linguagem, gerando um modelo de idioma. Finalmente, esses modelos foram ajustados para o conjunto de dados de domínio específico para obter resultados de última geração para uma declaração de problema específica. Eles também publicaram esses modelos treinados para a comunidade de código aberto. Os membros da comunidade agora conseguiam ajustar esses modelos em seus casos de uso específicos.

Abraçar o rosto tornou mais fácil para a comunidade acessar e ajustar esses modelos usando seu pacote Python: Transformers.

Motivação

Apesar desses incríveis avanços tecnológicos, aplicar essas soluções a problemas de negócios ainda é um desafio, dado que o conhecimento de nicho necessário para entender e aplicar esse método em declarações de problemas específicas. Portanto, nos seguintes tutoriais, demonstrarei como um usuário pode aproveitar as tecnologias, juntamente com algumas outras ferramentas do Python para ajustar esses modelos de idiomas para um tipo específico de tarefas.

Antes de prosseguir, gostaria de mencionar os seguintes grupos para o trabalho fantástico que eles estão fazendo e compartilhando que tornaram possíveis esses cadernos e tutoriais:

Revise essas fontes incríveis de informação e assine seus canais/fontes.

• Abraçando a equipe de rosto
• Abhishek Thakur para seus incríveis vídeos do YouTube

As declarações de problemas com as quais trabalharei são:

Caderno	Link do github	Link colab	Kaggle kernel
Classificação de texto: multi-classe	Github		Kaggle
Classificação de texto: Multi-Label	Github		Kaggle
Classificação de sentimentos com rastreamento de experimentos em Wandb!	Github
Nomeado Reconhecimento de entidades: com processamento de TPU!	Github		Kaggle
Resposta de perguntas
Redação de resumo: com rastreamento de experimentos no Wandb!	Github		Kaggle

Estrutura de diretório

1. data : Esta pasta contém todos os dados de brinquedos usados ​​para ajuste fino.
2. utils : Esta pasta conterá qualquer script diverso usado para se preparar para o ajuste fino.
3. models : Pasta para salvar todos os artefatos Postar ajuste fino.

Assistindo/leitura adicional

Vou tentar cobrir os aspectos práticos e de implementação do ajuste fino desses modelos de idiomas em várias tarefas de PNL. Você pode melhorar seu conhecimento sobre esse tópico lendo/assistindo os seguintes recursos.

• Assistindo

  • Introdução em termos simples
  • Transferir aprendizado em NLP
  • Bert Research Series de Chrismccormickai

• Leitura

  • Documentação dos transformadores
  • Documentação de Pytorch
  • Blog do Google AI