applied_nlp_demos

Applied_nlp_demos en Pytorch

PNL moderno

1. Pretrain T5 V1.1: Precinete T5 en el código del conjunto de datos C4. Este código es extremadamente menos complicado, más legible y más cierto a la implementación de Google, que otras opciones disponibles gracias a Huggingface. En comparación con el documento T5 1.1 que informa 1.942 pérdidas en 65,536 pasos, un solo RTX 4090 produce resultados comparables en el conjunto de pruebas (2.08) en aproximadamente 18.5 horas de entrenamiento utilizando este código (ver la imagen a continuación). El pre -proyección en su propio conjunto de datos es tan simple como intercambiar el Dataset existente con el suyo.

2. SEQ2SEQ (ChatBot): Fine Tune Flan-T5 en el código Alpaca

3. SEQ2SEQ: Fine Flan-T5 en los datos utilizando el código de marco de DataSet Huggingface

Google/Flan-T5-Large

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: Fahrenheit

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 3, 4, 8

input sentence: What is the capital of France?
response: paris

input sentence: Name two types of desert biomes.
response: sahara

Google/Flan-T5-Large: ajustado en alpaca

 input sentence: Given a set of numbers, find the maximum value.
{10, 3, 25, 6, 16}
response: 25

input sentence: Convert from celsius to fahrenheit.
Temperature in Celsius: 15
response: 77

input sentence: Arrange the given numbers in ascending order.
2, 4, 0, 8, 3
response: 0, 2, 3, 4, 8

input sentence: What is the capital of France?
response: Paris

input sentence: Name two types of desert biomes.
response: Desert biomes can be divided into two main types: arid and semi-arid. Arid deserts are characterized by high levels of deforestation, sparse vegetation, and limited water availability. Semi-desert deserts, on the other hand, are relatively dry deserts with little to no vegetation.

Legacy PNL

Este repositorio contiene el procesamiento de datos inicial y los algoritmos NLP utilizando Pytorch y a menudo Huggingface (Transformers) para los siguientes modelos:

1. Documento: Redes de atención jerárquica Pytorch Implementación: Código

2. Documento: Implementación de Bert Pytorch: código

3. Bert-CNN Ensemble. Implementación de Pytorch: código

4. Documento: Implementación de CNN Pytorch a nivel de personaje: código

5. Documento: Distilbert Pytorch Implementación: Código

6. Distilgpt-2. Implementación de Pytorch: código

7. Documento: Redes neuronales convolucionales para la clasificación de oraciones Pytorch Implementación: Código

8. Documento: implementación de Pytorch de clasificación T5: código

9. Documento: implementación de pytorch t5-sumarización: código

10. Construyendo un corpus: buscar archivos de texto. Código: Código

11. Documento: Heinsein Ruting TorchText Implementación: Código

12. Entidad incrustaciones y carga perezosa. Código: Código

13. Similitud semántica. Código: Código

14. Squad 2.0 Bert Emisos de incrustaciones en Pytorch. Código: Código

15. SST-5 BERT INCRETDINGS EMISIONES EN PYTORCH. Código: Código

Créditos: El grupo Hedwig ha sido fundamental para ayudarme a aprender muchos de estos modelos.

Las salidas de marcado R más amables se pueden encontrar aquí: http://seekinginference.com/nlp/