applied_nlp_demos

aplicado_nlp_demos em pytorch

NLP moderno

1. Pretrain T5 V1.1: T5 pré-treino no código do conjunto de dados C4. Esse código é extremamente menos complicado, mais legível e mais verdadeiro para a implementação do Google, do que outras opções disponíveis, graças ao HuggingFace. Em comparação com o artigo T5 1.1, que relata 1,942 perda a 65.536 etapas, um único RTX 4090 produz resultados comparáveis ​​no conjunto de testes (2.08) em aproximadamente 18,5 horas de treinamento usando este código (veja a imagem abaixo). O pré -treinamento em seu próprio conjunto de dados é tão simples quanto trocar o Dataset existente com o seu.

2. SEQ2SEQ (CHATBOT): Tune Flan-T5 no código da ALPACA

3. SEQ2SEQ: Tune Fine Flan-T5 nos dados usando o código da estrutura do HuggingFace

Google/Flan-T5-Large

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/Flan-T5-Large: Tuneado fino na Alpaca

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

NLP herdado

Este repositório contém o processamento de dados do início ao final e os algoritmos de PNL usando pytorch e frequentemente huggingface (transformadores) para os seguintes modelos:

1. Papel: Redes de atenção hierárquica Pytorch Implementação: Código

2. Papel: Bert Pytorch Implementação: Código

3. Ensemble Bert-CNN. Implementação de Pytorch: código

4. Papel: CNN Pytorch de nível de caractere implementação: código

5. Artigo: Distilbert Pytorch Implementação: Código

6. Destilgpt-2. Implementação de Pytorch: código

7. Artigo: Redes neurais convolucionais para classificação de sentenças Pytorch Implementação: Código

8. Artigo: Classificação T5 Implementação Pytorch: Código

9. Artigo: T5-Summarização Pytorch Implementação: Código

10. Construindo um corpus: pesquise arquivos de texto. Código: Código

11. Papel: Heinsein Roteamento Torchtext Implementação: Código

12. Incorporações de entidade e carregamento preguiçoso. Código: Código

13. Similaridade semântica. Código: Código

14. Esquadrão 2.0 Emissões de incorporação Bert em pytorch. Código: Código

15. Emissões de incorporação de SST-5 Bert em Pytorch. Código: Código

Créditos: O Hedwig Group tem sido fundamental para me ajudar a aprender muitos desses modelos.

As saídas de marcação mais agradáveis ​​podem ser encontradas aqui: http://seekinginference.com/nlp/